Registration info |
聴講枠(オンラインにて制限なし) Free
Attendees
|
---|---|
参加者への情報 |
(参加者と発表者のみに公開されます)
|
Description
過去の Data Engineering Study のアーカイブはこちらからご視聴いただけます。
開催内容
概要
本イベントは、Infra Study Meetup を運営する Forkwell と、分析基盤向けデータ統合SaaS「trocco」の開発・運営を行う primeNumber による共催イベントです。データ分析に精通した講師をお招きし、データ分析基盤の「これまで」と「これから」を学ぶことを趣旨として開催いたします。
ゆずたそ氏(@yuzutas0)にモデレーターを依頼し、複数回にわたって、各回テーマに沿った内容で各分野でご活躍されているエンジニア/研究者に講演いただきます。
開催背景
Forkwell からのコメント
本イベントは、Infra Study Meetup に注目していただいた primeNumber さまからのお声がけで実現したイベントです。Infra Study Meetup とは主催する団体、扱うテーマが異なることから、別シリーズとして立ち上げました。Infra Study 参加者と共に得たイベントノウハウを継承し、データ分析領域でも学びの場を作ります。
本家 Infra Study にご参加いただいた方はもちろん、データ分析に関心のある方ならどなたでも参加可能です。エンジニアリングと密接に関わるデータ分析領域について楽しく学んでいただけましたら幸いです。
Forkwell 事業責任者 赤川
primeNumber からのコメント
弊社はデータ分析基盤向けの総合支援サービス「trocco」を運営しているのですが、その中で「どういう分析基盤を作っていけばいいのか?」というご質問をよく伺います。そのような方向けに何か有益な情報をご提供できる場はないかと考えた時に、本イベントの開催を思いつきました。
そんなタイミングで、「Infra Study Meetup」という反響が大きいイベントがあるのを見つけ、「データ分析基盤」版を作りませんかとお声がけした所から開催に至りました。
これから分析基盤を作ろうとされている方や、現在運用中の基盤の改善アイデアを探している方に、有益な場に出来ればと思っております。
primeNumber 取締役執行役員CPO 小林寛和
こんなエンジニアにおすすめ
- データ分析に関わる事例を知りたい方
- 自社内にデータ分析基盤を作ろうと検討中の方
- 自社のデータ分析基盤をより効率的にしたいと考えている方
- データ分析領域に幅を広げてみたいソフトウェアエンジニア・インフラエンジニア
プログラム第13回「ELT・データモデリングツール特集回」
Data Engineering Study第13回では「ELT・データモデリング」を実践するツールについて学んでいきます。
データモデリングやELTの基本的な概念について触れた後、それを実際に実現するためのツールをご紹介します。
今回はツールとして「dbt」と「Dataform」をピックアップし、それらを本番環境で運用されている方にご登壇いただきます。
講演「dbtを使ったELTデータパイプライン構築と運用事例」
瀧本 晋也 氏(@takimo)
株式会社10X
▍発表内容
10X社におけるdbtとELTアプローチを採用し、DWHの構築やサービス開発におけるデータ変換処理の実装事例についてご紹介します。dbt導入に至った背景や運用時における工夫に関してもお話します。
講演「Data Transformation in Digdag - 小さな会社でデータ基盤を運用する」
大政 勇作 氏(@_eurk)
株式会社TimeTree
▍発表内容
ワークフローエンジンのDigdagを使ったELT、特にT(Transform)に関する問題について、Digdagのジョブ定義をうまく活用しながら解決する方法について、TimeTree社の取り組みをご紹介します。
また、弊社のようにデータ基盤チームがまだないスタートアップでのTransfomの難しさとの向き合い方も、一例としてお話しします。
講演「Dataformとdbtで楽するデータモデリング」
山田 直史 氏(@na0fu3y)
株式会社メルカリ
▍発表内容
データを使ってもらうためのデータモデリングと、そのうちDataformやdbtに振り分けた領域について紹介します。Dataformが解禁された時に、対等に検討できるようにDataformとdbtをそれぞれ利用した体験をお話しします。
タイムスケジュール(目安)
時間 | 内容 |
---|---|
18:00〜 | 司会より挨拶(10分) |
18:10〜 | 講演(20分)株式会社10X 瀧本 晋也氏 「dbtを使ったELTデータパイプライン構築と運用事例」 |
18:30〜 | 質疑応答(10分) |
18:40〜 | スポンサーセッション(5分) Forkwell |
18:45〜 | 休憩(5分) |
18:50〜 | 講演(20分)株式会社TimeTree 大政 勇作氏 「Data Transformation in Digdag - 小さな会社でデータ基盤を運用する」 |
19:10〜 | 質疑応答(10分) |
19:20〜 | スポンサーLT(5分) primeNumber 小林 寛和 |
19:25〜 | 休憩(5分) |
19:30〜 | 講演(20分) 株式会社メルカリ 山田 直史氏 「Dataformとdbtで楽するデータモデリング」 |
19:50〜 | 質疑応答(10分) |
20:00〜 | アフタートーク(15分) |
20:15 | 完全終了 |
※ タイムスケジュールは目安です。完全解散20:15までの間で、より参加者にご満足いただける形で各コンテンツ時間が調整される場合がございます。
※ プログラムは変更となる可能性があります。随時こちらで更新いたします。
これまでの勉強会で扱うテーマとアーカイブ動画
- 2020/07/15(水)|第1回「モダンなDWH/BIツールの選び方と、実際の運用事例」
- 2020/08/19(水)|第2回「データ収集基盤とデータ整備のこれまでとこれから」
- 2020/09/16(水)|第3回「分析基盤をうまく組織に浸透させる方法」
- 2020/11/04(水)|第4回「データ分析基盤の障害対応事例LT祭り」
- 2020/12/02(水)|第5回「噂のSnowflake Deep Dive / 国内事例・他DWHとの比較」
- 2021/02/03(水)|第6回「改めて学ぶ、BigQuery徹底入門」
- 2021/04/06(火)|第7回「Redshift最新アップデートと活用事例」
- 2021/06/02(水)|第8回「BIツール特集-OSS・商用の上手い使い分け」
- 2021/08/03(火)|第9回「企業規模別データエンジニア組織の作り方」
- 2021/10/06(水)|第10回「王道BIツール特集 Tableau / PowerBI / Googleデータポータル」
- 2021/12/13(月)|第11回「6社のデータエンジニアが振り返る2021」
- 2022/2/9(水)|第12回「エンジニアのための「データ可視化」入門」
参加方法
今回のオンライン勉強会は YouTube Live を使用してライブ配信いたします。
また、コメントや感想、講演内容に関する質問は Twitter へお願いいたします。
ライブ配信終了後、アーカイブ動画の公開を予定しております。
当日の開催時間にライブ参加できない方も、こちらのページより参加申込みの上、アーカイブ動画をご視聴いただけます。
なお、Twitterタイムラインと連動したリアルタイムなイベント参加体験を重視するため、YouTube Liveの追いかけ再生はできない設定となりますこと、ご了承くださいませ。 配信中のプログラムからの視聴、あるいはライブ配信終了数時間後から再生可能になるアーカイブ動画をご視聴ください。
留意事項
- Forkwell、primeNumber の宣伝をさせていただく時間がございます。予めご了承ください。
- IT技術者の方を対象としたイベントのため、非エンジニアの方のご参加、ならびに同業に属する方の当イベント内でのリクルーティング活動につきましてご遠慮いただいております。
- イベントの風景を、Forkwellメディア上の記事(イベントレポート)に掲載することがございます。掲載を希望されない方は、当日Zoomチャットまたはイベントページ問い合わせフォームより、掲載希望されない旨をお伝えください。
- イベント参加時にご入力いただいた情報は、次のプライバシーポリシーに基づき、primeNumber のみで適切に扱います。 https://primenumber.co.jp/privacy/
また、ご参加者の方々が最大限楽しんで頂けるよう、運営サイドで参加にふさわしくないと判断させて頂いた方については、イベント中であろうとご退席をお願いすることがございます。
- 保険、宗教、ネットワークビジネスの勧誘が目的と見られる方
- その他運営サイドで参加が不適切だと判断した方 誠に恐れ入りますが、あらかじめご了承くださいませ。
主催・協力
主催/コミュニティ支援協賛
「成長し続けるエンジニアを支援する」サービスを運営する Forkwell
分析基盤向けデータ統合SaaS「trocco」の開発・運営を行う primeNumber
後援
天神放送局様にライブ配信代行として協力いただいております。
天神放送局はライブ配信を広めることで「機会格差をなくす」ことをミッションとしたライブ配信ユニットです。
コミュニティイベントが増え続ける中、コンテンツを熱意ある人に届けるために活動しています。
Media View all Media
If you add event media, up to 3 items will be shown here.
Feed
2023/06/01 15:08
Thanks for sharing a great article for all age of peopole. Skin care ingredients can be classified into three main categories: active, functional, and preservative. Active ingredients are the ones that provide the main benefits to your skin, such as reducing wrinkles or brightening your complexion. Read More: https://www.scoopupdates.com/2023/04/10/the-ultimate-guide-to-understanding-skin-care-ingredients/
2023/04/06 17:36
Struggling with computer science assignments? Our reliable and affordable assignment help service is here to assist you in achieving your academic goals. For More Info Visit Here: https://www.assignmentclassmates.com/computer-science-assignment-help
2023/04/04 18:04
At Writing Services, we offer top-notch academic writing help in UK for all kinds of assignments. Our team of experts provides quality and professional writing services to students from all over the world. For More Info Visit Here: https://www.assignmenthelpservices.com/uk/writing-services
2023/03/25 18:59
作文是关于一个特定主题的短文 https://meiguodaixie.com/xin-li-xue-dai-xie/ 。它通常包含一个论点声明和论据。 一篇写得好的文章应该表现出连贯性、清晰性和对细节的关注(包括句子结构、语法、标点符号和拼写)。辅导员和教师在论文中寻找这些品质。
2022/12/29 23:19
3 commas https://goodcrypto.app/3commas-review-automated-trading-terminal-crypto-trading-bots/ are used to separate a series of words or phrases. They also help establish a pause. This helps readers to absorb the ideas. A comma can also indicate an interjection. There are many different ways to use a comma, but there are some common rules to follow. Remember, however, that a comma should not be used to break a sentence into illogical segments.

2022/03/23 05:26
An essay writing service can help you with your academic papers. There are several types of https://www.bestessays.com.au/thesis-writing.php essay writing services, and it is important to choose the one that fits your needs. Luckily, there are many places where you can find an excellent writer and place an order. These sites are easy to navigate and will allow you to contact your assigned writer, so you won't have to worry about plagiarism or citation issues. Plus, if you need a custom-written paper, you can even get a discount if you order it early.