スキップしてメイン コンテンツに移動

DWH利用者からみた Iceberg の魅力、 Iceberg本の輪読会 (#13, #14)

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。

第13回と14回ではケビンさんをゲストに、DWH利用者からみた Iceberg の魅力や、 Iceberg本の輪読会のトピックについてお話をうかがいました。


2024年12月追記:Iceberg本の輪読会が完了し、ケビンさんの方で輪読会のまとめブログを出されました。発表資料もまとめられているので以下をぜひご覧ください。

Apache Iceberg: The Definitive Guide 輪読会まとめ


guest: @kevinrobot34 (ケビン)

ナウキャスト データプラットフォームエンジニア 


host: @simosako (下佐粉 昭)

AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。


※感想は #OTFTalk でポストいただけると励みになります。

※発言は各個人のものであり、所属組織を代表するものではありません。


第13回:DWH利用者からみた、Apache Icebergの魅力

OTF Talk 第13回はケビンさんに、DWH利用者からみた、Apache Icebergの魅力についてお話を伺いました。


SnowflakeのIceberg対応/Icebergの学習を通してDWHの内部を想像する/DWHとIcebergの使いわけ

https://podcasters.spotify.com/pod/show/otftalk/episodes/13-DWHApache-Iceberg-e2pt9n9

https://youtu.be/PyEQxQHv7Uw


第14回:Apache Iceberg The Definitive Guide 輪読会とIcebergのパフォーマンス最適化

OTF Talk 第14回は、ケビンさんに、Apache Iceberg The Definitive Guide 輪読会と、その輪読会での学習内容であるIceberg概要やIcebergのパフォーマンス最適化についてお話をうかがいました。


輪読会を運営中/なぜSnowflakeコミュニティがIcebergの勉強会を?/第1章:Icebergとは何か/第4章:パフォーマンス


https://podcasters.spotify.com/pod/show/otftalk/episodes/14-Apache-Iceberg-The-Definitive-Guide-Iceberg-e2pt9oh

https://youtu.be/qu7T6KDMvU0


参考文献)


SnowflakeのIcebergサポート (Snowflakeドキュメント)

https://docs.snowflake.com/en/release-notes/2024/other/2024-06-10-iceberg-tables


Apache Iceberg: The Definitive Guide

https://www.amazon.co.jp/dp/B0CZ4F2MP3


輪読会発表資料:1章 前田さん

https://drive.google.com/file/d/1a7J1OJustb5125KT6s2HkAqtzuifJvNT/view


輪読会発表資料:4章前半 ※ケビンさん

https://speakerdeck.com/kevinrobot34/apache-iceberg-the-definitive-guide-ch4


輪読会発表資料:4章後半 ※島尻さん

https://speakerdeck.com/rshimajiri/apache-iceberg-the-definitive-guide-lun-du-hui-4zhang-optimizing-the-performance-of-iceberg-tables-hou-ban


Bloom filter (Wikipedia)

https://ja.wikipedia.org/wiki/%E3%83%96%E3%83%AB%E3%83%BC%E3%83%A0%E3%83%95%E3%82%A3%E3%83%AB%E3%82%BF

コメント

このブログの人気の投稿

大規模データ分析環境での Apache Iceberg + Snowflake 活用の経験 (#33)

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 第33回は、NTTドコモ 松原 侑哉 さんに、「大規模データ分析環境での Apache Iceberg + Snowflake 活用の経験」についてお話をうかがいました。 #33 大規模データ分析環境での Apache Iceberg + Snowflake 活用の経験 (2-10) https://open.spotify.com/show/27g3HFW9LcEbFlJIYqvsug ペタバイト級データを処理するインフラの変遷/Iceberg評価の背景とモチベーション/ベンチマークの方法と結果/今後について guest: NTTドコモ プリンシパルデータエンジニア  松原 侑哉 さん host: @simosako 下佐粉 昭 AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 -------------------- 参考) Apache Iceberg Meetup Japan #3 https://iceberg.connpass.com/event/364492/ 松原さん発表資料 https://speakerdeck.com/y_matsubara/apache-iceberg-meetup-japan-number-3-da-gui-mo-snowflake-plus-anoicebergnohuo-yong

ハイトラフィックな更新処理が必要な環境でのApache Iceberg検証 (#35)

OTF Talk 第35回は、Repro チーフアーキテクトの joker1007さんに「ハイトラフィックな更新処理が必要な環境でのApache Iceberg検証」についてお話をうかがいました。 既存環境の課題/Icebergでデータとコンピュートを分離する/データ更新と参照ラグ/コンパクションの課題と工夫/今後の展望 https://open.spotify.com/show/27g3HFW9LcEbFlJIYqvsug https://youtu.be/w8rwZ-b3YNk OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。  https://www.otftalk.com/ guest: guest: @joker100 7 Repro チーフアーキテクト  host: @simosako 下佐粉 昭 AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 -------------------- 参考) joker1007さんXアカウント - https://x.com/joker1007 ReproでのApache Icebergの技術検証結果 https://tech.repro.io/entry/2025/11/13/161646 前回のOTF Talkでのご出演 - Hudiの話 (#19, #20)  https://www.otftalk.com/2024/11/ep9.html 前回検証結果のブログ https://tech.repro.io/entry/2024/10/28/170721

Apache Kafka と Open Table Format (#34)

OTF Talk 第34回はConfluent 清水 亮夫 さんに、「Apache Kafka と Open Table Format」についてお話をうかがいました。 リアルタイム処理とOTF/Kafkaの特徴/Kafkaと他システムとの連携/Kafka Connector/Iceberg Sink Connectorの機能と注意点 https://open.spotify.com/show/27g3HFW9LcEbFlJIYqvsug https://youtu.be/Md6JWEuW8vw OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 https://www.otftalk.com/ guest: @shmza Confluent ソリューションエンジニアの清水 亮夫 さん host: @simosako 下佐粉 昭 AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 -------------------- 参考) 清水さん X https://x.com/shmza Apache Iceberg Meetup Japan #3 https://iceberg.connpass.com/event/364492/ 発表資料 https://speakerdeck.com/shmza/kafkawoli-yong-sitaiceberghenodetasutorimingu Apache Kafka https://kafka.apache.org/  Kafka connectors https://docs.confluent.io/platform/current/connect/kafka_connectors.html Apache Iceberg Sink Connector https://github.com/apache/iceberg/tree/main/kafka-connect Kafka-delta-ingest https://github.com/de...