お知らせ connpassではさらなる価値のあるデータを提供するため、2024年5月23日(木)を以ちましてイベントサーチAPIの無料での提供の廃止を決定いたしました。
2024年5月23日(木)以降より開始予定の「connpass 有料API」の料金プランにつきましてはこちらをご覧ください。

お知らせ connpassをご利用いただく全ユーザーにおいて健全で円滑なイベントの開催や参加いただけるよう、イベント参加者向け・イベント管理者向けのガイドラインページを公開しました。内容をご理解の上、イベント内での違反行為に対応する参考としていただきますようお願いいたします。

このエントリーをはてなブックマークに追加

Mar

5

Data Engineering Study #23 Data orchestration 特集

Data Engineering Study #23 Data orchestration 特集
Registration info

聴講枠(オンラインにて制限なし)

Free

Attendees
374

Attendees
wakama1994
miere
kimuraken
kaori
indiakilo
Shunsuke Tsuchiya
kenken0608
horihorio
isseki_j
just_do_neet
View Attendee List
Start Date
2024/03/05(Tue) 18:00 ~ 20:30
Registration Period

2024/02/14(Wed) 15:01 〜
2024/03/05(Tue) 20:30まで

Location

YouTube LIVE

オンライン

参加者への情報
(参加者と発表者のみに公開されます)
出席登録
(イベント開始時間の2時間前から終了時間まで、参加者のみに公開されます)

Description

過去の Data Engineering Study のアーカイブはこちらからご視聴いただけます。

開催内容

概要

本イベントは、Infra Study Meetup を運営する Forkwell と、分析基盤向けデータ統合SaaS「trocco」の開発・運営を行う primeNumber による共催イベントです。データ分析に精通した講師をお招きし、データ分析基盤の「これまで」と「これから」を学ぶことを趣旨として開催いたします。
複数回にわたって、各回テーマに沿った内容で各分野でご活躍されているエンジニア/研究者に講演いただきます。
質疑応答の時間には、ゆずたそ氏(@yuzutas0)にもご参加いただきます。

プログラム第23回「Data orchestration特集」

データ分析の必要性がますます高まる中で、“サイロ化したデータにとらわれてなかなかビジネスの力に変えることができていない”という企業は多いのではないでしょうか。
そこでData Engineering Study第23回では、データ統合のための「Data orchestration」を通してデータ活用の現在形を考えます。

基調講演「ワークフローオーケストレーション入門」

 長江 五月 氏(@nsakki55
株式会社CyberAgent AI事業本部 Dynalyst データサイエンティストマネージャー

▍発表内容

データパイプラインや機械学習パイプラインなどの、データ領域でのワークフローオーケストレーションへの注目が近年高まっています。なぜ今このトレンドがきてるのか、何を行えばいいのかなど、ワークフローオーケストレーションの具体の内容に着目します。

本発表では以下の内容についてお話しします。
- ワークフローオーケストレーションとは何か?
- Airflow/Digdag/Argo/Prefect/Dagster/StepFunctionsの6つのワークフローオケストレーションツールを比較
- インターネット広告配信プロダクトDynalystでのワークフロー運用知見の紹介

対象者としてはデータ・機械学習基盤の開発に関わる以下の人となっています。
- これからワークフローツールの導入を検討してる人
- 既にワークフロー運用を行っていて課題感を感じてる人

LT1「データオーケストレーションツールDagsterの紹介」

岩崎 晃 氏(@sista05
株式会社DataMarket 代表取締役

▍発表内容

データオーケストレーションとは、企業全体のデータ設定、管理、および調整を自動化することを意味します。

これまでデータエンジニアリングでは、主にシステム構築やデータ整理に焦点が当てられていました。 しかし、世の中で急速にデータ利活用が進む中で、企業・部門間・業種ごとでデータ成熟度や手法の違いが目立つようになってきており、理解のギャップを埋めるための共通の土台を作ることが新しい課題となっています。

Dagsterは、データオーケストレーションの実現に当たって、自身が企業のデータアセットを表現し管理する一つのプラットフォームになることを目指しています。 この目標を達成するために、Dagsterが採用しているアプローチとその将来性について話をしたいと考えています。

LT2「dbtをDagster Cloudでオーケストレーションする」

上村 空知 氏(@contradiction29
株式会社Algoage データエンジニア

▍発表内容

データエンジニアリングの場面で今や圧倒的な人気を誇るdbt。しかし、dbtをオーケストレーションする際のベストプラクティスは確立されておらず、さまざまなツールでのオーケストレーション方法が提案されています。

本発表では、実際に導入して数ヶ月運用した経験をもとに、dbtをオーケストレーションする際の一つのプラクティスとして「Dagster Cloud」を利用した場合のメリットとデメリットをお話しします。Dagsterは開発者体験を重視した新世代のオーケストレーションツールとして、Airflowの代替手段となり得るポテンシャルを秘めています。
本発表がdbtをオーケストレーションする手段の一つとしてDagster Cloudを考慮するきっかけになれば幸いです

タイムスケジュール(目安)

時間 内容
18:00 オープニング(5分)
18:05 基調講演(40分)
長江 五月氏「ワークフローオーケストレーション入門」
18:45 質疑応答(15分)
19:00 共催LT1(5分)Forkwell
19:05 LT1(15分)
岩崎 晃 氏「データオーケストレーションツールDagsterの紹介」
19:20 LT2(15分)
上村 空知 氏「dbtをDagster Cloudでオーケストレーションする」
19:35 質疑応答(15分)
19:50 共催LT2(5分)primeNumber
19:55 アフタートーク(15分)
20:10 クロージング(5分)
20:15 完全終了

※ タイムスケジュールは目安です。完全解散20:15までの間で、より参加者にご満足いただける形で各コンテンツ時間が調整される場合がございます。
※ プログラムは変更となる可能性があります。随時こちらで更新いたします。

開催背景

Forkwell からのコメント

本イベントは、Infra Study Meetup に注目していただいた primeNumber さまからのお声がけで実現したイベントです。Infra Study Meetup とは主催する団体、扱うテーマが異なることから、別シリーズとして立ち上げました。Infra Study 参加者と共に得たイベントノウハウを継承し、データ分析領域でも学びの場を作ります。
本家 Infra Study にご参加いただいた方はもちろん、データ分析に関心のある方ならどなたでも参加可能です。エンジニアリングと密接に関わるデータ分析領域について楽しく学んでいただけましたら幸いです。

primeNumber からのコメント

弊社はデータ分析基盤向けの総合支援サービス「trocco」を運営しているのですが、その中で「どういう分析基盤を作っていけばいいのか?」というご質問をよく伺います。そのような方向けに何か有益な情報をご提供できる場はないかと考えた時に、本イベントの開催を思いつきました。
そんなタイミングで、「Infra Study Meetup」という反響が大きいイベントがあるのを見つけ、「データ分析基盤」版を作りませんかとお声がけした所から開催に至りました。
これから分析基盤を作ろうとされている方や、現在運用中の基盤の改善アイデアを探している方に、有益な場に出来ればと思っております。

これまでの勉強会で扱ったテーマとアーカイブ動画

留意事項

主催・協力

主催/コミュニティ支援協賛

ITエンジニアのキャリアに本気で向き合う転職サイト Forkwell(フォークウェル)



データ分析基盤の総合支援サービス「trocco」の開発・運営を行う primeNumber

Media View all Media

If you add event media, up to 3 items will be shown here.

Feed

angelcat

angelcat wrote a comment.

2024/04/15 05:16

Once collected, data needs to be stored in a way that is scalable, efficient, and accessible for analysis. Data engineers work with different storage technologies such as relational databases, NoSQL databases, data lakes, and cloud storage solutions to design data storage architectures that meet the needs of the organization. https://brutto-netto-rechner.cc

Jeff90

Jeff90 wrote a comment.

2024/04/15 05:12

Data engineers are responsible for designing systems to collect data from various sources, including databases, applications, sensors, websites, and more. This involves understanding the data requirements, defining data ingestion pipelines, and implementing mechanisms to ensure data quality and reliability. https://basketballlegends.club/basketball-stars

elitedean

elitedean wrote a comment.

2024/03/08 16:21

It was a really helpful and very informative blog. It really helps me a lot but if you want to also learn something new and interesting. https://basketrandom.pro

フォークウェル運営事務局

フォークウェル運営事務局 published Data Engineering Study #23 Data orchestration 特集.

02/14/2024 15:08

Data Engineering Study #23 Data orchestration 特集 を公開しました!

Ended

2024/03/05(Tue)

18:00
20:30

Registration Period
2024/02/14(Wed) 15:01 〜
2024/03/05(Tue) 20:30

Location

YouTube LIVE

オンライン

YouTube LIVE

Attendees(374)

wakama1994

wakama1994

Data Engineering Study #23 Data orchestration 特集 に参加を申し込みました!

kimuraken

kimuraken

Data Engineering Study #23 Data orchestration 特集 に参加を申し込みました!

kaori

kaori

Data Engineering Study #23 Data orchestration 特集 に参加を申し込みました!

indiakilo

indiakilo

Data Engineering Study #23 Data orchestration 特集 に参加を申し込みました!

Shunsuke Tsuchiya

Shunsuke Tsuchiya

Data Engineering Study #23 Data orchestration 特集 に参加を申し込みました!

kenken0608

kenken0608

Data Engineering Study #23 Data orchestration 特集 に参加を申し込みました!

horihorio

horihorio

Data Engineering Study #23 Data orchestration 特集 に参加を申し込みました!

isseki_j

isseki_j

Data Engineering Study #23 Data orchestration 特集 に参加を申し込みました!

just_do_neet

just_do_neet

Data Engineering Study #23 Data orchestration 特集 に参加を申し込みました!

Attendees (374)

Canceled (6)