お知らせ 【重要なお知らせ】iOSアプリの運用および提供を2024年6月3日(月)を以て終了いたします。詳細は お知らせをご覧ください。

お知らせ connpassではさらなる価値のあるデータを提供するため、イベントサーチAPIの提供方法の見直しを決定しました。2024年5月23日(木)より 「企業・法人」「コミュニティ及び個人」向けの2プランを提供開始いたします。ご利用にあたっては利用申請及び審査がございます。詳細はヘルプページをご確認ください。

このエントリーをはてなブックマークに追加

Dec

12

Data Engineering Study #22 5社のデータエンジニアが振り返る2023

Data Engineering Study #22 5社のデータエンジニアが振り返る2023
Registration info

聴講枠(オンラインにて制限なし)

Free

Attendees
518

Attendees
べりんぐ
SotaroTanaka
tenajima
hiroshix6
kazumain
yk1001
mkurita
ohsawa0515
saka1_p
korosuke512tr
View Attendee List
Start Date
2023/12/12(Tue) 18:00 ~ 20:30
Registration Period

2023/11/09(Thu) 16:30 〜
2023/12/12(Tue) 20:30まで

Location

YouTube LIVE

オンライン

参加者への情報
(参加者と発表者のみに公開されます)
出席登録
(イベント開始時間の2時間前から終了時間まで、参加者のみに公開されます)

Description

過去の Data Engineering Study のアーカイブはこちらからご視聴いただけます。

開催内容

概要

本イベントは、Infra Study Meetup を運営する Forkwell と、分析基盤向けデータ統合SaaS「trocco」の開発・運営を行う primeNumber による共催イベントです。データ分析に精通した講師をお招きし、データ分析基盤の「これまで」と「これから」を学ぶことを趣旨として開催いたします。
複数回にわたって、各回テーマに沿った内容で各分野でご活躍されているエンジニア/研究者に講演いただきます。
質疑応答の時間には、ゆずたそ氏(@yuzutas0)にもご参加いただきます。

プログラム第22回「5社のデータエンジニアが振り返る2023」

Data Engineering Study第22回では「5社のデータエンジニアが振り返る2023」というタイトルで、年末恒例となっている今年一年の振り返りをしていきたいと思います。
データエンジニアリング・データ分析基盤に関する「良かったこと・問題だったこと・来年トライしたいこと」などをLT形式でご発表していただきます。
プロの現場で活躍されているデータエンジニアの皆様の生の声を聞ける場となっております。

LT1「2023サンフランシスコ出張報告 〜ダッシュボードが自動生成される時代に、データ人材に求められる働き方を考える〜」

 ゆずたそ 氏(@yuzutas0
株式会社風音屋

▍発表内容

GenAIの台頭によって「10秒でダッシュボードを作る」という新しいユーザー体験が実現されつつあり、BIツールの可能性が拡がっています。データ人材のキャリアと働き方も変わることが求められるでしょう。このセッションでは、BIツールにおけるイノベーションがデータ人材のキャリアと働き方にどのように影響を与え、データ文化の進化にどのように貢献するのかを探ります。

LT2「生データを最速で取り込むチャレンジ ~LayerXデータ基盤成長物語 part1~」

中山貴博(civitaspo) 氏(@Civitaspo
株式会社LayerX / データエンジニア

▍発表内容

LayerXのデータ組織は2023年4月に設立されました。本発表では、新たに設立されたLayerXのデータ組織が一年間でどのようにデータ基盤を構築してきたかを紹介します。特に「生データを最速で取り込む」ことに焦点を当て、現在実施中の取り組みも含めて具体的なチャレンジを詳細に解説します。
LayerXはサービス提供環境をAWS、データ基盤はGCPという構成なので、複数のクラウドにまたがるデータ転送に関心のある方にとってインサイトが得られる発表内容にしようと考えています。

LT3「Dataplexとdbt-osmosisを活用した「がんばらない」データカタログとメタデータ管理の運用」

吉田 康久 氏(@syou6162
株式会社10X / データエンジニア

▍発表内容

10Xでは事業の推進するため、様々な職種の方が多様な分析を行なっています。この分析を支えるためにBigQueryに多数のテーブルやカラムが日々作成していますが、「自分の分析に必要なテーブル / カラムがどれかを探すのが難しい」というData Discoveryの観点で課題を感じている人が多いことが社内のアンケートで明らかになりました。

この課題をなるべく「がんばらない」で解決するためにDataplexとdbt-osmosisの導入を行ないました。本LTでは導入の際に検討したことやその効果について紹介します。

LT4「デジタル庁のデータ分析基盤「sukuna」の立ち上げと発展 〜 Agile&FragileからTrust&Robustへ」

長谷川亮(hase-ryo)
デジタル庁 Fact & Data Unit / データエンジニア

▍発表内容 デジタル庁では行政におけるデータ利活用を推進するため、クラウドネイティブなデータ分析基盤「sukuna」を開発・運用しています。本発表では事業フェーズに応じたデータ分析基盤の在り方についてご紹介します。具体的にはデータ分析基盤の立ち上げから成果事例の創出、そこからのデジタル庁内の文化形成、さらには総理肝入り?のデジタル行財政改革会議でのEBPM(証拠に基づく政策立案)の扱いに繋がるまで、今年チャレンジした一連のストーリーを「Agile & Fragile」「Trust & Robust」という2つのキーワードを軸にしてご紹介します。

LT5「データエンジニアリングの現在地とData Developer Platform」

 山中雄生(Yuki Yamanaka) 氏(@yamnaku_
ノバセル株式会社 データエンジニア

▍発表内容

データ指向のアプリケーションやプロダクトデザインの方法論が浸透してきた中で、データエンジニアリングの領域は拡大してきています。それに伴い、より多くのエンジニアがデータ基盤上での開発業務に携わるようになってきました。では、データ基盤を多くの人に使ってもらい、基盤上で開発サイクルが回るためには何から始めるべきでしょうか?
この問いに対して、近年話題となっているPlatform Engineeringの考え方をデータ基盤に導入していくと良いと私は考えています。このセッションでは、データエンジニアリングを取り巻く環境が今年一年でどう変わったのかについて総括しつつ、データ基盤上での開発を支援するプラットフォームであるData Developer Platformについて、ノバセルの事例も交えながらご紹介します。

タイムスケジュール(目安)

時間 内容
18:00 オープニング(5分)
18:05 LT1(10分)
ゆずたそ氏「2023サンフランシスコ出張報告 〜ダッシュボードが自動生成される時代に、データ人材に求められる働き方を考える〜」
18:15 LT2(10分)
中山貴博氏「生データを最速で取り込むチャレンジ ~LayerXデータ基盤成長物語 part1~」
18:25 LT3(10分)
吉田 康久氏「Dataplexとdbt-osmosisを活用した「がんばらない」データカタログとメタデータ管理の運用」
18:35 質疑応答(15分)
18:50 スポンサーLT1(5分)
Forkwell
18:55 休憩(5分)※時間が押していればスキップ
19:00 スポンサーLT2(5分)
primeNumber
19:05 LT4(10分)
長谷川亮氏「デジタル庁のデータ分析基盤「sukuna」の立ち上げと発展 〜 Agile&FragileからTrust&Robustへ」
19:15 LT5(10分)
山中雄生氏「データエンジニアリングの現在地とData Developer Platform」
19:25 質疑応答(10分)
19:35 アフタートーク(20分)
19:55 クロージング(5分)
〜20:15 完全終了

※ タイムスケジュールは目安です。完全解散20:15までの間で、より参加者にご満足いただける形で各コンテンツ時間が調整される場合がございます。
※ プログラムは変更となる可能性があります。随時こちらで更新いたします。

開催背景

Forkwell からのコメント

本イベントは、Infra Study Meetup に注目していただいた primeNumber さまからのお声がけで実現したイベントです。Infra Study Meetup とは主催する団体、扱うテーマが異なることから、別シリーズとして立ち上げました。Infra Study 参加者と共に得たイベントノウハウを継承し、データ分析領域でも学びの場を作ります。
本家 Infra Study にご参加いただいた方はもちろん、データ分析に関心のある方ならどなたでも参加可能です。エンジニアリングと密接に関わるデータ分析領域について楽しく学んでいただけましたら幸いです。

primeNumber からのコメント

弊社はデータ分析基盤向けの総合支援サービス「trocco」を運営しているのですが、その中で「どういう分析基盤を作っていけばいいのか?」というご質問をよく伺います。そのような方向けに何か有益な情報をご提供できる場はないかと考えた時に、本イベントの開催を思いつきました。
そんなタイミングで、「Infra Study Meetup」という反響が大きいイベントがあるのを見つけ、「データ分析基盤」版を作りませんかとお声がけした所から開催に至りました。
これから分析基盤を作ろうとされている方や、現在運用中の基盤の改善アイデアを探している方に、有益な場に出来ればと思っております。

これまでの勉強会で扱ったテーマとアーカイブ動画

参加方法

今回のオンライン勉強会は YouTube Live を使用してライブ配信いたします。
また、コメントや感想、講演内容に関する質問は Twitter へお願いいたします。

ライブ配信終了後、アーカイブ動画の公開を予定しております。
当日の開催時間にライブ参加できない方も、こちらのページより参加申込みの上、アーカイブ動画をご視聴いただけます。

なお、Twitterタイムラインと連動したリアルタイムなイベント参加体験を重視するため、YouTube Liveの追いかけ再生はできない設定となりますこと、ご了承くださいませ。 配信中のプログラムからの視聴、あるいはライブ配信終了数時間後から再生可能になるアーカイブ動画をご視聴ください。

留意事項

主催・協力

主催/コミュニティ支援協賛

ITエンジニアのキャリアに本気で向き合う転職サイト Forkwell(フォークウェル)



データ分析基盤の総合支援サービス「trocco」の開発・運営を行う primeNumber

Media View all Media

If you add event media, up to 3 items will be shown here.

Feed

helendam

helendam wrote a comment.

2024/03/19 11:11

人間の創意工夫の証: https://infinite-craft.io は、人間の創意工夫の無限の可能性の証しであり、私たちが創造性を受け入れるときに可能となる驚くべき成果を示しています。

lilycollins9

lilycollins9 wrote a comment.

2023/12/14 10:53

https://bitlifeonline.io/ Forkwell の Web サイトでは、Data Engineering Research イベント ページでホストされているビデオへのリンクを見つけることができます。

フォークウェル運営事務局

フォークウェル運営事務局 published Data Engineering Study #22 5社のデータエンジニアが振り返る2023.

11/09/2023 16:31

Data Engineering Study #22 5社のデータエンジニアが振り返る2023 を公開しました!

Ended

2023/12/12(Tue)

18:00
20:30

Registration Period
2023/11/09(Thu) 16:30 〜
2023/12/12(Tue) 20:30

Location

YouTube LIVE

オンライン

YouTube LIVE

Attendees(518)

べりんぐ

べりんぐ

I joined Data Engineering Study #22 5社のデータエンジニアが振り返る2023!

SotaroTanaka

SotaroTanaka

Data Engineering Study #22 5社のデータエンジニアが振り返る2023 に参加を申し込みました!

tenajima

tenajima

Data Engineering Study #22 5社のデータエンジニアが振り返る2023 に参加を申し込みました!

hiroshix6

hiroshix6

Data Engineering Study #22 5社のデータエンジニアが振り返る2023 に参加を申し込みました!

kazumain

kazumain

Data Engineering Study #22 5社のデータエンジニアが振り返る2023 に参加を申し込みました!

yk1001

yk1001

I joined Data Engineering Study #22 5社のデータエンジニアが振り返る2023!

mkurita

mkurita

Data Engineering Study #22 5社のデータエンジニアが振り返る2023 に参加を申し込みました!

ohsawa0515

ohsawa0515

Data Engineering Study #22 5社のデータエンジニアが振り返る2023 に参加を申し込みました!

saka1_p

saka1_p

Data Engineering Study #22 5社のデータエンジニアが振り返る2023 に参加を申し込みました!

korosuke512tr

korosuke512tr

Data Engineering Study #22 5社のデータエンジニアが振り返る2023 に参加を申し込みました!

Attendees (518)

Canceled (15)