スキップしてメイン コンテンツに移動

OTF (Open Table Format)入門 (#01～#03)

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。

この#01～#03では、AWSの疋田さんをゲストに、OTF (Open Table Format) 入門と題して3回にわたってお話を伺いました。

guest: @_Bassari (疋田 宗太郎/べりんぐ)

AWSで金融のお客様を担当するソリューションアーキテクト。余暇はOTF/Iceberg関連の技術を探求中。

host: @simosako (下佐粉 昭)

AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。

※感想は #OTFTalk でポストいただけると励みになります。

※発言は各個人のものであり、所属組織を代表するものではありません。

参考文献)

■全般

べりんぐさんブログでのOTFへの全般的な解説

https://bering.hatenadiary.com/entry/2023/07/17/235246

Iceberg, Hudi, Delta Lakeの比較記事

※記事はDremio社によるものです。DremioはIcebergにコミットしている企業である事に留意してください。

https://www.dremio.com/blog/comparison-of-data-lake-table-formats-apache-iceberg-apache-hudi-and-delta-lake/

■ Apache Iceberg

ホームページ https://iceberg.apache.org/

べりんぐさんブログでのIcebergの解説 https://bering.hatenadiary.com/entry/2023/09/24/175953

Iceberg: a fast table format for S3

当時Netflix所属のRyan BlueがIcebergをどんなモチベーションで作ったかを語るもの(2018年）

https://www.youtube.com/watch?v=nWwQMlrjhy0

Iceberg Summit 2024動画リスト。様々な企業のIceberg活用事例や技術的トピック多数

https://www.youtube.com/playlist?list=PLkifVhhWtccxBSrKFPXOmjAFFEpeYii5K

■ Apache Hudi

ホームページ https://hudi.apache.org/

Uber Blog: Hudi開発の背景 https://www.uber.com/en-JP/blog/hoodie/

Yahoo! Japan:Apache Hudi を用いてレコード単位で削除可能なデータレイクを構築した話

データレイク上のデータ削除の必要性と、どのようにしてHudiを活用しているかを解説

https://techblog.yahoo.co.jp/entry/2022052530303179/

■ Delta Lake

ホームページ https://delta.io/

DataBricks社のkitaokaさんによる解説 https://ktksq.hatenablog.com/entry/deltalake

Databricks社による Data+AI Summit 2024 / Data lake house 関連の動画リスト

※Delta Lake はDatabricks社によって開発がリードされていることもあり、Databricks社のイベント "Data + AI Summit"で色々な発表が行われることが多いです。以下はその一部で、Data lake house関連のリストです。

https://www.youtube.com/watch?v=31BQwOiR260&list=PLTPXxbhUt-YW18S6p5wNu1SJxoF24S_UB

場所: 日本、東京都

コメント

コメントを投稿

このブログの人気の投稿

Delta Lake 入門と実践事例 (#21, #22)

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 #21と#22では、Databricksの桑野 章弘さんに、Delta Lakeの基本的な機能や実践事例について、お話をうかがいました。 guest： @kuwa_tw (桑野 章弘) Databricks ソリューションアーキテクト host:  @simosako  (下佐粉 昭) AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 第21回： Delta Lake 入門 OTF Talk 第21回はDatabricksの桑野 章弘さんに、「Delta Lake 入門」についてお話をうかがいました。 Delta Lakeのはじまり/商用版とOSS版の違い/Delta Lake の特徴/楽観的なトランザクション管理/Unity Catalog https://creators.spotify.com/pod/show/otftalk/episodes/21-Delta-Lake-e2sal2n https://youtu.be/rQr-pZjsh6c 第22回：Delta Lake 実践事例 OTF Talk 第22回は、Databricksの桑野 章弘さんに「Delta Lake 実践事例」についてお話をうかがいました。 Delta Lake ユースケース/機械学習もDWHも同じ環境で/事例/Delta Lakeを選択した理由 https://creators.spotify.com/pod/show/otftalk/episodes/22-Delta-Lake-e2sal3g https://youtu.be/ZP23-MeWo8o 参考） 桑野さん Xアカウント https://x.com/kuwa_tw Databrics  https://www.databricks.com/jp Delta Lakeとは？ (Databricksドキュメント) https://docs.databricks.com/ja/d...
コメントを投稿
続きを読む

Apache Hudi 1.0 アナウンスブログを読む (番外編) #23

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 第23回は、番外編として、Apache Hudi 1.0リリースのアナウンスブログをホストが読む回です。また、最後に今後のOTF Talkについて少しご案内があります。 host:  @simosako  (下佐粉 昭) AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 第23回： Apache Hudi 1.0 アナウンスブログを読む (番外編) Apache Hudi 1.0 Release/次世代レイクハウス/1.0の新機能/OTF Talk今後の予定 https://creators.spotify.com/pod/show/otftalk/episodes/23-Apache-Hudi-1-0-e2spqni 参考） ■Apahce Hudi Announcing Apache Hudi 1.0 and the Next Generation of Data Lakehouses  https://hudi.apache.org/blog/2024/12/16/announcing-hudi-1-0-0/   Apache Hudi 1.0 Release note https://hudi.apache.org/releases/release-1.0.0/   Apache Hudi Roadmap https://hudi.apache.org/roadmap/   ■関連技術 LSM Tree (Wikipedia) https://en.wikipedia.org/wiki/Log-structured_merge-tree   書籍「データ指向アプリケーションデザイン」（オライリー） https://www.oreilly.co.jp/books/9784873118703/   Google Spanner TrueTimeと外部整合性 (Googl...
コメントを投稿
続きを読む

Apache Hadoopから見たOTF / AWS GlueのOTFサポート (#15,#16)

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 第15回と第16回では、鯵坂 明さんに、「Apache Hadoopから見たOTF」や「AWS Glueの OTFサポート」いついてお話をうかがいました。 guest：鯵坂 明さん @ ajis_ka  AWS Glue サービスチーム シニアソフトウェアエンジニア / Hadoop PMC host: @ simosako (下佐粉 昭) AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 第15回：Apache Hadoopから見たOTF OTF Talk 第15回は鯵坂さんに、「Apache Hadoopから見たOTF」についてお話をうかがいました。 鯵坂さんとHadoopとの関わり/OTF環境で利用されるHadoopソフトウェア/OTF実装とHiveカタログ https://podcasters.spotify.com/pod/show/otftalk/episodes/15-Apache-HadoopOTF-e2qf4ec https://youtu.be/nw1s3A33Sio 第16回：AWS GlueのOTFサポート OTF Talk 第16回は、鯵坂さんに「AWS Glueの OTFサポート」についてお話をうかがいました。 AWS Glue概要/AWS GlueのOTFサポート/開発におけるOTFトピック(Hudi, Iceberg) https://podcasters.spotify.com/pod/show/otftalk/episodes/16-AWS-GlueOTF-e2qf4fe https://youtu.be/pzXEuV_wPng 参考文献） Apache PMC (Project Management Committee) https://www.apache.org/dev/pmc.html Apache Ozone https://ozone.apache.org/ AWS Glue https://aws.amazon.com/jp/glue/ Hudiのログメッセージ改善Pull Request https://github.co...
コメントを投稿
続きを読む