スキップしてメイン コンテンツに移動

Delta Lake 入門と実践事例 (#21, #22)

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。

#21と#22では、Databricksの桑野 章弘さんに、Delta Lakeの基本的な機能や実践事例について、お話をうかがいました。


guest:@kuwa_tw (桑野 章弘)

Databricks ソリューションアーキテクト


host: @simosako (下佐粉 昭)

AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。


※感想は #OTFTalk でポストいただけると励みになります。

※発言は各個人のものであり、所属組織を代表するものではありません。


第21回: Delta Lake 入門

OTF Talk 第21回はDatabricksの桑野 章弘さんに、「Delta Lake 入門」についてお話をうかがいました。

Delta Lakeのはじまり/商用版とOSS版の違い/Delta Lake の特徴/楽観的なトランザクション管理/Unity Catalog

https://creators.spotify.com/pod/show/otftalk/episodes/21-Delta-Lake-e2sal2n

https://youtu.be/rQr-pZjsh6c


第22回:Delta Lake 実践事例

OTF Talk 第22回は、Databricksの桑野 章弘さんに「Delta Lake 実践事例」についてお話をうかがいました。

Delta Lake ユースケース/機械学習もDWHも同じ環境で/事例/Delta Lakeを選択した理由


https://creators.spotify.com/pod/show/otftalk/episodes/22-Delta-Lake-e2sal3g

https://youtu.be/ZP23-MeWo8o



参考)

桑野さん Xアカウント https://x.com/kuwa_tw

Databrics  https://www.databricks.com/jp

Delta Lakeとは? (Databricksドキュメント)

https://docs.databricks.com/ja/delta/index.html

Delta Lakeクイックスタートガイド (Takaaki Yayoi)

https://qiita.com/taka_yayoi/items/345f503d5f8177084f24

Deltaテーブルにおけるリキッドクラスタリングの活用 (Takaaki Yayoi)

https://qiita.com/taka_yayoi/items/9e2e4a515419c5c805e1

楽観的なトランザクション管理 (Takaaki Yayoi)

https://qiita.com/taka_yayoi/items/9e2e4a515419c5c805e1

Databricks 事例(株式会社リクルート)

https://www.databricks.com/sites/default/files/2023-03/customer_story_recruit_ja_jp_2.pdf


コメント

このブログの人気の投稿

Apache Hadoopから見たOTF / AWS GlueのOTFサポート (#15,#16)

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 第15回と第16回では、鯵坂 明さんに、「Apache Hadoopから見たOTF」や「AWS Glueの OTFサポート」いついてお話をうかがいました。 guest:鯵坂 明さん @ ajis_ka  AWS Glue サービスチーム シニアソフトウェアエンジニア / Hadoop PMC host: @ simosako (下佐粉 昭) AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 第15回:Apache Hadoopから見たOTF OTF Talk 第15回は鯵坂さんに、「Apache Hadoopから見たOTF」についてお話をうかがいました。 鯵坂さんとHadoopとの関わり/OTF環境で利用されるHadoopソフトウェア/OTF実装とHiveカタログ https://podcasters.spotify.com/pod/show/otftalk/episodes/15-Apache-HadoopOTF-e2qf4ec https://youtu.be/nw1s3A33Sio 第16回:AWS GlueのOTFサポート OTF Talk 第16回は、鯵坂さんに「AWS Glueの OTFサポート」についてお話をうかがいました。 AWS Glue概要/AWS GlueのOTFサポート/開発におけるOTFトピック(Hudi, Iceberg) https://podcasters.spotify.com/pod/show/otftalk/episodes/16-AWS-GlueOTF-e2qf4fe https://youtu.be/pzXEuV_wPng 参考文献) Apache PMC (Project Management Committee) https://www.apache.org/dev/pmc.html Apache Ozone https://ozone.apache.org/ AWS Glue https://aws.amazon.com/jp/glue/ Hudiのログメッセージ改善Pull Request https://github.co...

Apache Hudi 1.0 アナウンスブログを読む (番外編) #23

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 第23回は、番外編として、Apache Hudi 1.0リリースのアナウンスブログをホストが読む回です。また、最後に今後のOTF Talkについて少しご案内があります。 host:  @simosako  (下佐粉 昭) AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 第23回: Apache Hudi 1.0 アナウンスブログを読む (番外編) Apache Hudi 1.0 Release/次世代レイクハウス/1.0の新機能/OTF Talk今後の予定 https://creators.spotify.com/pod/show/otftalk/episodes/23-Apache-Hudi-1-0-e2spqni 参考) ■Apahce Hudi Announcing Apache Hudi 1.0 and the Next Generation of Data Lakehouses  https://hudi.apache.org/blog/2024/12/16/announcing-hudi-1-0-0/   Apache Hudi 1.0 Release note https://hudi.apache.org/releases/release-1.0.0/   Apache Hudi Roadmap https://hudi.apache.org/roadmap/   ■関連技術 LSM Tree (Wikipedia) https://en.wikipedia.org/wiki/Log-structured_merge-tree   書籍「データ指向アプリケーションデザイン」(オライリー) https://www.oreilly.co.jp/books/9784873118703/   Google Spanner TrueTimeと外部整合性 (Googl...