OTF Talk - Open Table Format をテーマとするPodcast

OTF Talk 第36回は、Apache Hive PMCメンバーのおくみんさんに「Apache HiveからみたOTF」についてお話をうかがいました。 https://open.spotify.com/show/27g3HFW9LcEbFlJIYqvsug https://youtu.be/aCSwFlnsF2s Apache Hiveとは何か/Apache Hiveへの貢献とPMC/HiveとOpen Table Format/Apache Iceberg対応/Apache Hiveコミュニティ OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。  https://www.otftalk.com/ guest: guest： @okumin おくみん Apache Hive PMC メンバー / Treasure Data ソフトウェアエンジニア host: @simosako 下佐粉 昭 AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 参考） おくみんさん Xアカウント - https://x.com/okumin Apache Iceberg活用入門 オープンテーブルフォーマットによるデータレイク＆データレイクハウス (書籍) https://book.impress.co.jp/books/1124101072 Apache HiveとIceberg: 2025年春 (おくみんさんによる、HiveのIceberg関連プロジェクト解説)  https://blog.okumin.com/entry/2025/05/30/110000 -------------------- ※AI生成の目次です。ご参考までに。 [00:00] ゲスト紹介とHive PMCとしての活動 ゲストのおくみんさん（トレジャーデータ）は、約10年のビッグデータ歴を持ち、Apache HiveのPMCメンバーとして開発を主導している。 共著（寄稿）した書籍『Apache Iceberg活用入門』の...

OTF Talk 第35回は、Repro チーフアーキテクトの joker1007さんに「ハイトラフィックな更新処理が必要な環境でのApache Iceberg検証」についてお話をうかがいました。 既存環境の課題/Icebergでデータとコンピュートを分離する/データ更新と参照ラグ/コンパクションの課題と工夫/今後の展望 https://open.spotify.com/show/27g3HFW9LcEbFlJIYqvsug https://youtu.be/w8rwZ-b3YNk OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。  https://www.otftalk.com/ guest: guest： @joker100 7 Repro チーフアーキテクト  host: @simosako 下佐粉 昭 AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 -------------------- 参考） joker1007さんXアカウント - https://x.com/joker1007 ReproでのApache Icebergの技術検証結果 https://tech.repro.io/entry/2025/11/13/161646 前回のOTF Talkでのご出演 - Hudiの話 (#19, #20)  https://www.otftalk.com/2024/11/ep9.html 前回検証結果のブログ https://tech.repro.io/entry/2024/10/28/170721

OTF Talk 第34回はConfluent 清水 亮夫 さんに、「Apache Kafka と Open Table Format」についてお話をうかがいました。 リアルタイム処理とOTF/Kafkaの特徴/Kafkaと他システムとの連携/Kafka Connector/Iceberg Sink Connectorの機能と注意点 https://open.spotify.com/show/27g3HFW9LcEbFlJIYqvsug https://youtu.be/Md6JWEuW8vw OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 https://www.otftalk.com/ guest: @shmza Confluent ソリューションエンジニアの清水 亮夫 さん host: @simosako 下佐粉 昭 AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 -------------------- 参考） 清水さん X https://x.com/shmza Apache Iceberg Meetup Japan #3 https://iceberg.connpass.com/event/364492/ 発表資料 https://speakerdeck.com/shmza/kafkawoli-yong-sitaiceberghenodetasutorimingu Apache Kafka https://kafka.apache.org/  Kafka connectors https://docs.confluent.io/platform/current/connect/kafka_connectors.html Apache Iceberg Sink Connector https://github.com/apache/iceberg/tree/main/kafka-connect Kafka-delta-ingest https://github.com/de...

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 第33回は、NTTドコモ 松原 侑哉 さんに、「大規模データ分析環境での Apache Iceberg + Snowflake 活用の経験」についてお話をうかがいました。 #33 大規模データ分析環境での Apache Iceberg + Snowflake 活用の経験 (2-10) https://open.spotify.com/show/27g3HFW9LcEbFlJIYqvsug ペタバイト級データを処理するインフラの変遷/Iceberg評価の背景とモチベーション/ベンチマークの方法と結果/今後について guest: NTTドコモ プリンシパルデータエンジニア  松原 侑哉 さん host: @simosako 下佐粉 昭 AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 -------------------- 参考） Apache Iceberg Meetup Japan #3 https://iceberg.connpass.com/event/364492/ 松原さん発表資料 https://speakerdeck.com/y_matsubara/apache-iceberg-meetup-japan-number-3-da-gui-mo-snowflake-plus-anoicebergnohuo-yong

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 第32回は、マイクロアド 高橋 唐樹 さんに、「広告配信システムのデータ基盤におけるApache Iceberg活用」についてお話をうかがいました。 #32 広告配信システムのデータ基盤におけるApache Iceberg活用 (2-9) 広告配信システムの前処理/HiveからTrinoに移行/Iceberg化のメリット/ストレージとコンピュートの分離によるメリット https://open.spotify.com/show/27g3HFW9LcEbFlJIYqvsug https://youtu.be/YWZTdbfZnDo guest: マイクロアド 高橋 唐樹 さん host: @simosako 下佐粉 昭 AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 -------------------- 参考） 発表資料 https://sd-portal.microad.co.jp/slides/2025-03-01_deim2025.html DEIM2025 https://pub.confit.atlas.jp/ja/event/deim2025 OTF Talk 「マイクロアドでのOTF活用とIcebergテーブルの最適化」#28 https://www.otftalk.com/2025/09/ep14.html OTF Talk 「LINEヤフーにおけるHiveからIcebergへの移行」（#17, #18） https://www.otftalk.com/2024/11/ep8.html

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 第31回は、鈴木 研吾 さんに、「Fin Tech領域における Open Table Format」についてお話をうかがいました。 #31 Fin Tech領域における Open Table Format (2-8) セキュリティ・キャンプ2025 全国大会/データマネジメントの重要性/Fin Tech領域とOpen Table Formatのメリット/AI時代のセキュリティ https://open.spotify.com/episode/7uhJrRTf72whfHmETqOndI?si=95FW4k4dSWWJ8zMX_pT7tQ https://youtu.be/m0yfizUBSq4 OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 https://www.otftalk.com/ guest: @ken5scal (ken\d\x) 鈴木 研吾 さん host: @simosako 下佐粉 昭 AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 -------------------- 参考） 鈴木さん X https://x.com/ken5scal (ken\d\x) セキュリティ・キャンプ2025 全国大会【専門】Dクラス https://www.ipa.go.jp/jinzai/security-camp/2025/camp/zenkoku/program/d.html 講義資料 https://speakerdeck.com/ken5scal/aishi-dai-noda-gui-mo-detahuo-yong-tosekiyuriteizhan-lue LayerX Fintech事業部ブログ https://tech.layerx.co.jp/archive/category/Fintech%E4%BA%8B%E6%A5...

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 第30回は坂本 泰規さんに、「柔軟性のある分析基盤構築のためにApache Icebergを活用した経験」についてお話をうかがいました。 guest:  @sambaiz  坂本 泰規さん host:  @simosako  (下佐粉 昭) AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 Apache Iceberg採用のモチベーション/マルチクラウド/クエリエンジンを併用 - SnowflakeとAthena/性能と注意点 https://creators.spotify.com/pod/profile/otftalk/episodes/30-Apache-Iceberg-e38lb5h https://youtu.be/jUG6f4Z0_xs ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 -------------------- 参考） 坂本さん X https://x.com/sambaiz 「AJA SSP が Apache Iceberg と AWS Glue Data Catalog でペタバイトスケールのデータ基盤の柔軟なクエリエンジンの選択とクエリの高速化を実現」(AWSブログ) https://aws.amazon.com/jp/blogs/news/aja-ssp-adopts-iceberg-and-glue-data-catalog-in-peta-byte-scale-data-platform-to-get-flexible-query-engines-and-faster-queries/ OTF Talk #13 「DWH利用者からみた Iceberg の魅力」 https://www.otftalk.com/2024/10/ep6.html

 OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 #28と#29では、永富 安和さん（やっさん）に、「マイクロアドでのOTF活用とIcebergテーブルの最適化」や「関西でのOTFコミュニティ活動」について、お話をうかがいました。 guest: @yassan168 永富 安和さん（やっさん） さくらインターネット ソフトウェア開発エンジニア host: @simosako (下佐粉 昭) AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 #28 マイクロアドでのOTF活用とIcebergテーブルの最適化 (2-5) OTF Talk 第28回はさくらインターネットの永富 安和さん（やっさん）に、「マイクロアドでのOTF活用とIcebergテーブルの最適化」についてお話をうかがいました。 https://creators.spotify.com/pod/profile/otftalk/episodes/28-OTFIceberg-e386ihl https://youtu.be/c1znU8TFtYM マイクロアドのデータ基盤/当時の環境と課題/採用した構成と理由/ComputeとDataを分離する/Icebergのメンテナンス #29 関西でのOTFコミュニティ活動 (2-6) OTF Talk 第29回は、さくらインターネットの永富 安和さん（やっさん）に「関西でのOTFコミュニティ活動 」についてお話をうかがいました。 https://creators.spotify.com/pod/profile/otftalk/episodes/29-OTF-e386iie https://youtu.be/6kxKcyIskKw OTFSGとコミュニティ活動/OTF周辺での関心領域/関西でのコミュニティ活動/OTFSG今後の予定 参考） やっさん X https://x.com/yassan168 OTFのコミュニティ OTF Study Group (OTFSG) https://otf...

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 #26と#27では、AWSの疋田 宗太郎さんに、PyIcebergやApache Icebergへの移行戦略について、お話をうかがいました。 guest: @_Bassari (疋田 宗太郎/べりんぐ) AWSのソリューションアーキテクト。余暇はOTF/Iceberg関連の技術を探求中。 host: @simosako (下佐粉 昭) AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。  #26 PyIcebergの活用 (2-3) OTF Talk 第26回はAWSの疋田 宗太郎さんに、「PyIceberg」についてお話をうかがいました。 PyIcebergとは？/ユースケース/メリット/制約・注意点 https://creators.spotify.com/pod/profile/otftalk/episodes/26-PyIceberg-e37852j https://youtu.be/CZ-t5aB3neA #27 Apache Iceberg への移行戦略 (2-4) OTF Talk 第27回は、AWSの疋田 宗太郎さんに「Apache Iceberg への移行戦略」についてお話をうかがいました。 なぜIcebergに移行するのか/検討が必要な項目 - ETL、クライアント、データ/移行戦略と移行の流れ/リライト戦略とインプレース戦略 https://creators.spotify.com/pod/profile/otftalk/episodes/27-Apache-Iceberg-e379e8u https://youtu.be/Un_KnpeNO9U 参考） 書籍：「実践Apache Iceberg」 技術評論社 (2025/8/27発売)  https://amzn.to/419RgwS PyIceberg https://py.iceberg.apache.org/ GithubのIssue : Support...

 OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 #24と#25では、田中 智大さんに、Apache Iceberg v3 SpecやIcebergのパフォーマンス最適化について、お話をうかがいました。 OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 https://www.otftalk.com/ guest：tomtan (田中 智大) AWSのシニア・クラウドサポートエンジニア(Bigdata profile) host: @simosako (下佐粉 昭) AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 #24 Apache Iceberg v3 Spec OTF Talk 第24回はAWSの田中 智大さんに、「Apache Iceberg v3 Spec」についてお話をうかがいました。 https://creators.spotify.com/pod/profile/otftalk/episodes/24-Apache-Iceberg-v3-Spec-e371ihm https://youtu.be/kEVoSA1X0zc Iceberg本の出版/Iceberg Specとは何か？/v3の新機能 Row LinageとDeletion Vector/その他の新機能/v4に向けて #25 Apache Iceberg のパフォーマンス最適化 OTF Talk 第25回は、AWSの田中 智大さんに「Apache Iceberg のパフォーマンス最適化」についてお話をうかがいました。 https://creators.spotify.com/pod/profile/otftalk/episodes/25-Apache-Iceberg-e376361 https://youtu.be/qO3ogZNrUUA Icebergのパフォーマンスを決める要因/クエリ性能の最適化手法/書き...

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 第23回は、番外編として、Apache Hudi 1.0リリースのアナウンスブログをホストが読む回です。また、最後に今後のOTF Talkについて少しご案内があります。 host:  @simosako  (下佐粉 昭) AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 第23回： Apache Hudi 1.0 アナウンスブログを読む (番外編) Apache Hudi 1.0 Release/次世代レイクハウス/1.0の新機能/OTF Talk今後の予定 https://creators.spotify.com/pod/show/otftalk/episodes/23-Apache-Hudi-1-0-e2spqni 参考） ■Apahce Hudi Announcing Apache Hudi 1.0 and the Next Generation of Data Lakehouses  https://hudi.apache.org/blog/2024/12/16/announcing-hudi-1-0-0/   Apache Hudi 1.0 Release note https://hudi.apache.org/releases/release-1.0.0/   Apache Hudi Roadmap https://hudi.apache.org/roadmap/   ■関連技術 LSM Tree (Wikipedia) https://en.wikipedia.org/wiki/Log-structured_merge-tree   書籍「データ指向アプリケーションデザイン」（オライリー） https://www.oreilly.co.jp/books/9784873118703/   Google Spanner TrueTimeと外部整合性 (Googl...

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 #21と#22では、Databricksの桑野 章弘さんに、Delta Lakeの基本的な機能や実践事例について、お話をうかがいました。 guest： @kuwa_tw (桑野 章弘) Databricks ソリューションアーキテクト host:  @simosako  (下佐粉 昭) AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 第21回： Delta Lake 入門 OTF Talk 第21回はDatabricksの桑野 章弘さんに、「Delta Lake 入門」についてお話をうかがいました。 Delta Lakeのはじまり/商用版とOSS版の違い/Delta Lake の特徴/楽観的なトランザクション管理/Unity Catalog https://creators.spotify.com/pod/show/otftalk/episodes/21-Delta-Lake-e2sal2n https://youtu.be/rQr-pZjsh6c 第22回：Delta Lake 実践事例 OTF Talk 第22回は、Databricksの桑野 章弘さんに「Delta Lake 実践事例」についてお話をうかがいました。 Delta Lake ユースケース/機械学習もDWHも同じ環境で/事例/Delta Lakeを選択した理由 https://creators.spotify.com/pod/show/otftalk/episodes/22-Delta-Lake-e2sal3g https://youtu.be/ZP23-MeWo8o 参考） 桑野さん Xアカウント https://x.com/kuwa_tw Databrics  https://www.databricks.com/jp Delta Lakeとは？ (Databricksドキュメント) https://docs.databricks.com/ja/d...

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 #19と#20では、joker1007さんに、「Apache Hudiを巨大トラフィックのシステムに導入しようと検証して得た知見」について、前後編でお話をうかがいました。 guest： @joker1007 Repro チーフアーキテクト  host: @simosako (下佐粉 昭) AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 第19回： Apache Hudiを巨大トラフィックのシステムに導入しようと検証して得た知見（前編） 既存システムとその特性/将来に向けて解消したい課題/OTF(Hudi)に着目した理由 https://creators.spotify.com/pod/show/otftalk/episodes/19-Apache-Hudi-e2rmfea https://youtu.be/Z9kT1xmSqN4 第20回：Apache Hudiを巨大トラフィックのシステムに導入しようと検証して得た知見（後編） Hudiを選択した背景/検証環境/インデックス設定による変化/結果と考察 https://creators.spotify.com/pod/show/otftalk/episodes/20-Apache-Hudi-e2rmfj2 https://youtu.be/cNpG_XfTRbo 参考） joker1007さんXアカウント https://x.com/joker1007 Repro https://repro.io/ 更新可能なデータレイクを構築するテーブルフォーマットApache Hudiについて (joker1007さんによるHudi解説) https://tech.repro.io/entry/2024/07/26/141233 本番のトラフィック量でHudiを検証して見えてきた課題 (otfst_tokyo #4 でのjoker1007さん登壇資料) https://speakerdeck.com/j...

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 #17と#18では、奥田さんに、「LINEヤフーにおけるHiveからIcebergへの移行」について、前後編でお話をうかがいました。 guest：奥田 輔さん  @okdtsk   LINEヤフー  データグループ host: @simosako (下佐粉 昭) AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 第17回： LINEヤフーにおけるHiveからIcebergへの移行（前編） OTF Talk 第17回は奥田さんに、「LINEヤフーにおけるHiveからIcebergへの移行（前編）」についてお話をうかがいました。 Cloudera Evolve 2024での登壇/HDFSで900PB超のデータ基盤/現状の構成と課題/なぜApache Iceberg? https://podcasters.spotify.com/pod/show/otftalk/episodes/17-LINEHiveIceberg-e2qsibl https://youtu.be/3vFUHL2myD0 第18回：LINEヤフーにおけるHiveからIcebergへの移行（後編） OTF Talk 第18回は、奥田さんに「LINEヤフーにおけるHiveからIcebergへの移行（後編）」についてお話をうかがいました。 Iceberg導入のモチベーション/HiveからIcebergへインプレースでの移行/一部移行した感触/ユーザーコミュニケーションの重要性 https://podcasters.spotify.com/pod/show/otftalk/episodes/18-LINEHiveIceberg-e2qsieg https://youtu.be/M1uTaWQVqOU 参考文献） Cloudera Evolve 2024 https://www.cloudera.com/events/evolve/singapore.html LIN...

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 第15回と第16回では、鯵坂 明さんに、「Apache Hadoopから見たOTF」や「AWS Glueの OTFサポート」いついてお話をうかがいました。 guest：鯵坂 明さん @ ajis_ka  AWS Glue サービスチーム シニアソフトウェアエンジニア / Hadoop PMC host: @ simosako (下佐粉 昭) AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 第15回：Apache Hadoopから見たOTF OTF Talk 第15回は鯵坂さんに、「Apache Hadoopから見たOTF」についてお話をうかがいました。 鯵坂さんとHadoopとの関わり/OTF環境で利用されるHadoopソフトウェア/OTF実装とHiveカタログ https://podcasters.spotify.com/pod/show/otftalk/episodes/15-Apache-HadoopOTF-e2qf4ec https://youtu.be/nw1s3A33Sio 第16回：AWS GlueのOTFサポート OTF Talk 第16回は、鯵坂さんに「AWS Glueの OTFサポート」についてお話をうかがいました。 AWS Glue概要/AWS GlueのOTFサポート/開発におけるOTFトピック(Hudi, Iceberg) https://podcasters.spotify.com/pod/show/otftalk/episodes/16-AWS-GlueOTF-e2qf4fe https://youtu.be/pzXEuV_wPng 参考文献） Apache PMC (Project Management Committee) https://www.apache.org/dev/pmc.html Apache Ozone https://ozone.apache.org/ AWS Glue https://aws.amazon.com/jp/glue/ Hudiのログメッセージ改善Pull Request https://github.co...

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 第13回と14回ではケビンさんをゲストに、DWH利用者からみた Iceberg の魅力や、 Iceberg本の輪読会のトピックについてお話をうかがいました。 2024年12月追記：Iceberg本の輪読会が完了し、ケビンさんの方で輪読会のまとめブログを出されました。発表資料もまとめられているので以下をぜひご覧ください。 -  Apache Iceberg: The Definitive Guide 輪読会まとめ guest： @kevinrobot34 (ケビン) ナウキャスト　データプラットフォームエンジニア  host: @simosako (下佐粉 昭) AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 第13回：DWH利用者からみた、Apache Icebergの魅力 OTF Talk 第13回はケビンさんに、DWH利用者からみた、Apache Icebergの魅力についてお話を伺いました。 SnowflakeのIceberg対応/Icebergの学習を通してDWHの内部を想像する/DWHとIcebergの使いわけ https://podcasters.spotify.com/pod/show/otftalk/episodes/13-DWHApache-Iceberg-e2pt9n9 https://youtu.be/PyEQxQHv7Uw 第14回：Apache Iceberg The Definitive Guide 輪読会とIcebergのパフォーマンス最適化 OTF Talk 第14回は、ケビンさんに、Apache Iceberg The Definitive Guide 輪読会と、その輪読会での学習内容であるIceberg概要やIcebergのパフォーマンス最適化についてお話をうかがいました。 輪読会を運営中/なぜSnowflakeコミュニティがIcebergの勉強会を？/第1章：Icebergとは何か/第4章...

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 #11と#12ではStarburst の 蛯原 裕弥 さんをゲストに、Trinoの成り立ちやフェデレーション機能、TrinoコネクタのIceberg, Delta lake対応についてお話をうかがいました。 guest： @ebyhr (蛯原 裕弥) Starburst Engineer / Trino, Apache Polaris committer host: @ simosako (下佐粉 昭) AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 第11回：Trinoの成り立ちとコネクタの役割 OTF Talk 第11回は、Starburst の 蛯原 裕弥 さんに、OTFのデータをクエリする際によく利用されている分散SQLエンジンであるPresto/Trinoの成り立ちや、Trinoのフェデレーション機能と各種コネクタについてお話をうかがいました。 PrestoとTrinoの成り立ち/Trinoの特徴/フェデレーション機能とコネクタ/実装はどこが担うのか https://podcasters.spotify.com/pod/show/otftalk/episodes/11-Trino-e2p8r58/a-abiia6n https://youtu.be/vvfo60ZCq1M?si=OfG9ZXSVRqMgN08q ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 第12回：Trinoコネクタからみた OTF (Iceberg, Delta lake) OTF Talk 第12回は、Starburst の 蛯原 裕弥 さんに、OTF(Iceberg, Delta lake)をサポートするTrinoのコネクタについて、概要やその実装方法についてお話をうかがいました。 Trinoコネクタの役割/Icebergコネクタ/Trino+コネクタの特徴/Delta la...

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 #08～#10では、マイクロアド 永富 安和 さんをゲストに、OTFのコミュニティやIcebergの今後の機能追加、Polaris Catalog、セキュリティ機能など、多様なトピックについてお話をうかがいました。 guest： @yassan168 (永富 安和) マイクロアド シニアエンジニア host: @simosako (下佐粉 昭) AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 第8回：OTFSGとCloudera Evolve 2024 OTF Talk 第8回は、”やっさん”こと、永富安和さんに、日本のOTFコミュニティであるOTFSGや、シンガポールで開催されたIceberg meet-upでの話題についてお話を伺いました。 日本のコミュニティOTFSG/Cloudera Evolve 2024 Singapore/Iceberg Meetupでの今後の方向性/ https://podcasters.spotify.com/pod/show/otftalk/episodes/08-OTFSGCloudera-Evolve-2024-e2o4lcl https://youtu.be/qHc9E5TgJdc 第9回：Polaris Catalog OTF Talk 第9回は、”やっさん”こと、永富安和さんに、Icebergのカタログ周りやPolaris Catalogについてお話をうかがいました。 Icebergにとってのカタログの位置づけ/Polaris Catallog/OSS化の動きと意義/Iceberg REST API 仕様を内包する動き https://podcasters.spotify.com/pod/show/otftalk/episodes/09-Polaris-Catalog-e2o4le0 https://youtu.be/HP_uItt840k 第10回：Icebergとセキュリティ OTF Talk ...

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。この#6～#7では、AWS Glue プロダクトチームの関山 宜孝さんをゲストにOpen Table Format (OTF) のユースケースについてお話を伺いました。 ※今回録音環境に問題があったため、ゲストの声が聴きづらくなっています。 ゲスト: Noritaka Sekiyama ( @moomindani ) AWS Glue product team 所属の Principal Big Data Architect host:  @simosako  (下佐粉 昭) AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 第6回：OTFのユースケース:CDCによるニアリアルタイムデータ連携 OTF Talk 第6回は、AWS Glue プロダクトチームの関山 宜孝さんをゲストに、OTFのユースケースの１つであるCDC (Change Data Capture)の活用についてお話をうかがいました。 ※今回録音環境に問題があったため、ゲストの声が聴きづらくなっています。 OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 RDBをリアルタイムにdata lakeに連携したい/CDC (Change Data Capture)/なぜ実現困難だったのか/Upsertとトランザクション/データレイクをデータソースにする https://podcasters.spotify.com/pod/show/otftalk/episodes/06-CDC-e2ntfg8/a-abgp2pr https://youtu.be/rc-DmRLeEFU?si=rPakLaQpNIdwEeU0 第7回：OTFのユースケース:個人情報保護のためのデータ削除 OTF Talk 第7回は、AWS Glue プロダクトチームの関山 宜孝さんをゲストに、OTFのユー...

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。この#4～#5ではAWSの田中 智大 (tomtan) さんをゲストにお話を伺いました。 guest： Tomohiro Tanaka   AWSのシニア・クラウドサポートエンジニア(Bigdata profile) host: @simosako (下佐粉 昭) AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 #04 Apache Iceberg へのコントリビューション OTF Talk 第4回は、AWSの田中 智大 (tomtan) さんをゲストに、Apache Iceberg へのコントリビューションの経験や、Icebergコミュニティについてお話を伺いました。 Apache Iceberg との出会い/はじめてのコントリビューション/どうすれば貢献できる?/Good first issue/Iceberg コミュニティ https://podcasters.spotify.com/pod/show/otftalk/episodes/04-Apache-Iceberg-e2n9ljk https://youtu.be/wxn9YPdZyrI #05 Delta Lake UniForm (Universal Format) OTF Talk 第5回は、AWSの田中 智大(tomtan) さんをゲストに Delta Lake UniForm  (Universal Format) についてと、カンファレンスに登壇する意義についてお話を伺いました。 Data + AI Summit で登壇/UniForm (Universal Format)ってなに？/UniFormの仕組みと、活用領域/ カンファレンスに登壇するモチベーション/物理的に会ったあとに何が変わったか https://podcasters.spotify.com/pod/show/otftalk/episodes/05-Delta-Lake-UniFor...