OTF Talk - Open Table Format をテーマとするPodcast

OTF Talk 第34回はConfluent 清水 亮夫 さんに、「Apache Kafka と Open Table Format」についてお話をうかがいました。 リアルタイム処理とOTF/Kafkaの特徴/Kafkaと他システムとの連携/Kafka Connector/Iceberg Sink Connectorの機能と注意点 https://open.spotify.com/show/27g3HFW9LcEbFlJIYqvsug https://youtu.be/Md6JWEuW8vw OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 https://www.otftalk.com/ guest: @shmza Confluent ソリューションエンジニアの清水 亮夫 さん host: @simosako 下佐粉 昭 AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 -------------------- 参考） 清水さん X https://x.com/shmza Apache Iceberg Meetup Japan #3 https://iceberg.connpass.com/event/364492/ 発表資料 https://speakerdeck.com/shmza/kafkawoli-yong-sitaiceberghenodetasutorimingu Apache Kafka https://kafka.apache.org/  Kafka connectors https://docs.confluent.io/platform/current/connect/kafka_connectors.html Apache Iceberg Sink Connector https://github.com/apache/iceberg/tree/main/kafka-connect Kafka-delta-ingest https://github.com/de...

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 第33回は、NTTドコモ 松原 侑哉 さんに、「大規模データ分析環境での Apache Iceberg + Snowflake 活用の経験」についてお話をうかがいました。 #33 大規模データ分析環境での Apache Iceberg + Snowflake 活用の経験 (2-10) https://open.spotify.com/show/27g3HFW9LcEbFlJIYqvsug ペタバイト級データを処理するインフラの変遷/Iceberg評価の背景とモチベーション/ベンチマークの方法と結果/今後について guest: NTTドコモ プリンシパルデータエンジニア  松原 侑哉 さん host: @simosako 下佐粉 昭 AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 -------------------- 参考） Apache Iceberg Meetup Japan #3 https://iceberg.connpass.com/event/364492/ 松原さん発表資料 https://speakerdeck.com/y_matsubara/apache-iceberg-meetup-japan-number-3-da-gui-mo-snowflake-plus-anoicebergnohuo-yong

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 第32回は、マイクロアド 高橋 唐樹 さんに、「広告配信システムのデータ基盤におけるApache Iceberg活用」についてお話をうかがいました。 #32 広告配信システムのデータ基盤におけるApache Iceberg活用 (2-9) 広告配信システムの前処理/HiveからTrinoに移行/Iceberg化のメリット/ストレージとコンピュートの分離によるメリット https://open.spotify.com/show/27g3HFW9LcEbFlJIYqvsug https://youtu.be/YWZTdbfZnDo guest: マイクロアド 高橋 唐樹 さん host: @simosako 下佐粉 昭 AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 -------------------- 参考） 発表資料 https://sd-portal.microad.co.jp/slides/2025-03-01_deim2025.html DEIM2025 https://pub.confit.atlas.jp/ja/event/deim2025 OTF Talk 「マイクロアドでのOTF活用とIcebergテーブルの最適化」#28 https://www.otftalk.com/2025/09/ep14.html OTF Talk 「LINEヤフーにおけるHiveからIcebergへの移行」（#17, #18） https://www.otftalk.com/2024/11/ep8.html

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 第31回は、鈴木 研吾 さんに、「Fin Tech領域における Open Table Format」についてお話をうかがいました。 #31 Fin Tech領域における Open Table Format (2-8) セキュリティ・キャンプ2025 全国大会/データマネジメントの重要性/Fin Tech領域とOpen Table Formatのメリット/AI時代のセキュリティ https://open.spotify.com/episode/7uhJrRTf72whfHmETqOndI?si=95FW4k4dSWWJ8zMX_pT7tQ https://youtu.be/m0yfizUBSq4 OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 https://www.otftalk.com/ guest: @ken5scal (ken\d\x) 鈴木 研吾 さん host: @simosako 下佐粉 昭 AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 -------------------- 参考） 鈴木さん X https://x.com/ken5scal (ken\d\x) セキュリティ・キャンプ2025 全国大会【専門】Dクラス https://www.ipa.go.jp/jinzai/security-camp/2025/camp/zenkoku/program/d.html 講義資料 https://speakerdeck.com/ken5scal/aishi-dai-noda-gui-mo-detahuo-yong-tosekiyuriteizhan-lue LayerX Fintech事業部ブログ https://tech.layerx.co.jp/archive/category/Fintech%E4%BA%8B%E6%A5...

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 第30回は坂本 泰規さんに、「柔軟性のある分析基盤構築のためにApache Icebergを活用した経験」についてお話をうかがいました。 guest:  @sambaiz  坂本 泰規さん host:  @simosako  (下佐粉 昭) AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 Apache Iceberg採用のモチベーション/マルチクラウド/クエリエンジンを併用 - SnowflakeとAthena/性能と注意点 https://creators.spotify.com/pod/profile/otftalk/episodes/30-Apache-Iceberg-e38lb5h https://youtu.be/jUG6f4Z0_xs ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 -------------------- 参考） 坂本さん X https://x.com/sambaiz 「AJA SSP が Apache Iceberg と AWS Glue Data Catalog でペタバイトスケールのデータ基盤の柔軟なクエリエンジンの選択とクエリの高速化を実現」(AWSブログ) https://aws.amazon.com/jp/blogs/news/aja-ssp-adopts-iceberg-and-glue-data-catalog-in-peta-byte-scale-data-platform-to-get-flexible-query-engines-and-faster-queries/ OTF Talk #13 「DWH利用者からみた Iceberg の魅力」 https://www.otftalk.com/2024/10/ep6.html

 OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 #28と#29では、永富 安和さん（やっさん）に、「マイクロアドでのOTF活用とIcebergテーブルの最適化」や「関西でのOTFコミュニティ活動」について、お話をうかがいました。 guest: @yassan168 永富 安和さん（やっさん） さくらインターネット ソフトウェア開発エンジニア host: @simosako (下佐粉 昭) AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 #28 マイクロアドでのOTF活用とIcebergテーブルの最適化 (2-5) OTF Talk 第28回はさくらインターネットの永富 安和さん（やっさん）に、「マイクロアドでのOTF活用とIcebergテーブルの最適化」についてお話をうかがいました。 https://creators.spotify.com/pod/profile/otftalk/episodes/28-OTFIceberg-e386ihl https://youtu.be/c1znU8TFtYM マイクロアドのデータ基盤/当時の環境と課題/採用した構成と理由/ComputeとDataを分離する/Icebergのメンテナンス #29 関西でのOTFコミュニティ活動 (2-6) OTF Talk 第29回は、さくらインターネットの永富 安和さん（やっさん）に「関西でのOTFコミュニティ活動 」についてお話をうかがいました。 https://creators.spotify.com/pod/profile/otftalk/episodes/29-OTF-e386iie https://youtu.be/6kxKcyIskKw OTFSGとコミュニティ活動/OTF周辺での関心領域/関西でのコミュニティ活動/OTFSG今後の予定 参考） やっさん X https://x.com/yassan168 OTFのコミュニティ OTF Study Group (OTFSG) https://otf...