スキップしてメイン コンテンツに移動

PyIcebergとApache Icebergへの移行戦略 (#26, #27)

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。

#24と#25では、AWSの疋田 宗太郎さんに、PyIcebergやApache Icebergへの移行戦略について、お話をうかがいました。


guest: @_Bassari (疋田 宗太郎/べりんぐ)

AWSのソリューションアーキテクト。余暇はOTF/Iceberg関連の技術を探求中。


host: @simosako (下佐粉 昭)

AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。


※感想は #OTFTalk でポストいただけると励みになります。

※発言は各個人のものであり、所属組織を代表するものではありません。


 #26 PyIcebergの活用 (2-3)

OTF Talk 第26回はAWSの疋田 宗太郎さんに、「PyIceberg」についてお話をうかがいました。

PyIcebergとは？/ユースケース/メリット/制約・注意点

https://creators.spotify.com/pod/profile/otftalk/episodes/26-PyIceberg-e37852j

https://youtu.be/CZ-t5aB3neA


#27 Apache Iceberg への移行戦略 (2-4)

OTF Talk 第27回は、AWSの疋田 宗太郎さんに「Apache Iceberg への移行戦略」についてお話をうかがいました。

なぜIcebergに移行するのか/検討が必要な項目 - ETL、クライアント、データ/移行戦略と移行の流れ/リライト戦略とインプレース戦略

https://creators.spotify.com/pod/profile/otftalk/episodes/27-Apache-Iceberg-e379e8u

https://youtu.be/Un_KnpeNO9U


参考）

書籍：「実践Apache Iceberg」 技術評論社 (2025/8/27発売)  https://amzn.to/419RgwS


PyIceberg https://py.iceberg.apache.org/


GithubのIssue : Support IsolationLevels and Concurrency Safety Validation Checks

※ PyIcebergの同時書き込み時の競合チェックの改善について（競合しづらくする）

https://github.com/apache/iceberg-python/issues/819


OTF Talk #17, 18 奥田さんによるデータ移行の話 https://www.otftalk.com/2024/11/ep8.html

Netflixの移行事例 https://www.youtube.com/watch?v=jMFMEk8jFu8


コメント

コメントを投稿

このブログの人気の投稿

Trino概要とOTF対応のコネクタ (#11,12)

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 #11と#12ではStarburst の 蛯原 裕弥 さんをゲストに、Trinoの成り立ちやフェデレーション機能、TrinoコネクタのIceberg, Delta lake対応についてお話をうかがいました。 guest： @ebyhr (蛯原 裕弥) Starburst Engineer / Trino, Apache Polaris committer host: @ simosako (下佐粉 昭) AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 第11回：Trinoの成り立ちとコネクタの役割 OTF Talk 第11回は、Starburst の 蛯原 裕弥 さんに、OTFのデータをクエリする際によく利用されている分散SQLエンジンであるPresto/Trinoの成り立ちや、Trinoのフェデレーション機能と各種コネクタについてお話をうかがいました。 PrestoとTrinoの成り立ち/Trinoの特徴/フェデレーション機能とコネクタ/実装はどこが担うのか https://podcasters.spotify.com/pod/show/otftalk/episodes/11-Trino-e2p8r58/a-abiia6n https://youtu.be/vvfo60ZCq1M?si=OfG9ZXSVRqMgN08q ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 第12回：Trinoコネクタからみた OTF (Iceberg, Delta lake) OTF Talk 第12回は、Starburst の 蛯原 裕弥 さんに、OTF(Iceberg, Delta lake)をサポートするTrinoのコネクタについて、概要やその実装方法についてお話をうかがいました。 Trinoコネクタの役割/Icebergコネクタ/Trino+コネクタの特徴/Delta la...
コメントを投稿
続きを読む

Apache Hadoopから見たOTF / AWS GlueのOTFサポート (#15,#16)

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 第15回と第16回では、鯵坂 明さんに、「Apache Hadoopから見たOTF」や「AWS Glueの OTFサポート」いついてお話をうかがいました。 guest：鯵坂 明さん @ ajis_ka  AWS Glue サービスチーム シニアソフトウェアエンジニア / Hadoop PMC host: @ simosako (下佐粉 昭) AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 第15回：Apache Hadoopから見たOTF OTF Talk 第15回は鯵坂さんに、「Apache Hadoopから見たOTF」についてお話をうかがいました。 鯵坂さんとHadoopとの関わり/OTF環境で利用されるHadoopソフトウェア/OTF実装とHiveカタログ https://podcasters.spotify.com/pod/show/otftalk/episodes/15-Apache-HadoopOTF-e2qf4ec https://youtu.be/nw1s3A33Sio 第16回：AWS GlueのOTFサポート OTF Talk 第16回は、鯵坂さんに「AWS Glueの OTFサポート」についてお話をうかがいました。 AWS Glue概要/AWS GlueのOTFサポート/開発におけるOTFトピック(Hudi, Iceberg) https://podcasters.spotify.com/pod/show/otftalk/episodes/16-AWS-GlueOTF-e2qf4fe https://youtu.be/pzXEuV_wPng 参考文献） Apache PMC (Project Management Committee) https://www.apache.org/dev/pmc.html Apache Ozone https://ozone.apache.org/ AWS Glue https://aws.amazon.com/jp/glue/ Hudiのログメッセージ改善Pull Request https://github.co...
コメントを投稿
続きを読む

Delta Lake 入門と実践事例 (#21, #22)

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 #21と#22では、Databricksの桑野 章弘さんに、Delta Lakeの基本的な機能や実践事例について、お話をうかがいました。 guest： @kuwa_tw (桑野 章弘) Databricks ソリューションアーキテクト host:  @simosako  (下佐粉 昭) AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 第21回： Delta Lake 入門 OTF Talk 第21回はDatabricksの桑野 章弘さんに、「Delta Lake 入門」についてお話をうかがいました。 Delta Lakeのはじまり/商用版とOSS版の違い/Delta Lake の特徴/楽観的なトランザクション管理/Unity Catalog https://creators.spotify.com/pod/show/otftalk/episodes/21-Delta-Lake-e2sal2n https://youtu.be/rQr-pZjsh6c 第22回：Delta Lake 実践事例 OTF Talk 第22回は、Databricksの桑野 章弘さんに「Delta Lake 実践事例」についてお話をうかがいました。 Delta Lake ユースケース/機械学習もDWHも同じ環境で/事例/Delta Lakeを選択した理由 https://creators.spotify.com/pod/show/otftalk/episodes/22-Delta-Lake-e2sal3g https://youtu.be/ZP23-MeWo8o 参考） 桑野さん Xアカウント https://x.com/kuwa_tw Databrics  https://www.databricks.com/jp Delta Lakeとは？ (Databricksドキュメント) https://docs.databricks.com/ja/d...
コメントを投稿
続きを読む