スキップしてメイン コンテンツに移動

OTFのコミュニティ/Polris Catalog/Icebergのセキュリティ (#08～#10)

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。

#08～#10では、マイクロアド 永富 安和 さんをゲストに、OTFのコミュニティやIcebergの今後の機能追加、Polaris Catalog、セキュリティ機能など、多様なトピックについてお話をうかがいました。


guest： @yassan168 (永富 安和)

マイクロアド シニアエンジニア


host: @simosako (下佐粉 昭)

AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。


※感想は #OTFTalk でポストいただけると励みになります。

※発言は各個人のものであり、所属組織を代表するものではありません。


第8回：OTFSGとCloudera Evolve 2024

OTF Talk 第8回は、”やっさん”こと、永富安和さんに、日本のOTFコミュニティであるOTFSGや、シンガポールで開催されたIceberg meet-upでの話題についてお話を伺いました。

日本のコミュニティOTFSG/Cloudera Evolve 2024 Singapore/Iceberg Meetupでの今後の方向性/


https://podcasters.spotify.com/pod/show/otftalk/episodes/08-OTFSGCloudera-Evolve-2024-e2o4lcl

https://youtu.be/qHc9E5TgJdc


第9回：Polaris Catalog

OTF Talk 第9回は、”やっさん”こと、永富安和さんに、Icebergのカタログ周りやPolaris Catalogについてお話をうかがいました。

Icebergにとってのカタログの位置づけ/Polaris Catallog/OSS化の動きと意義/Iceberg REST API 仕様を内包する動き

https://podcasters.spotify.com/pod/show/otftalk/episodes/09-Polaris-Catalog-e2o4le0

https://youtu.be/HP_uItt840k


第10回：Icebergとセキュリティ

OTF Talk 第10回は、”やっさん”こと、永富安和さんに、Icebergのセキュリティ（暗号化等）の動きや、検討されている機能追加についてお話をうかがいました。

Icebergとセキュリティ/暗号化/アクセス制御/どこまでスペックにいれるべきか？/その他検討されている機能/OTFSGへの参加お待ちしております


https://podcasters.spotify.com/pod/show/otftalk/episodes/10-Iceberg-e2o4leo

https://youtu.be/KtgbYVPk2HQ


参考文献）

日本のOTFコミュニティ OTFSG https://otfsg-tokyo.connpass.com/


Rancher ユーザー会 (やっさんが管理者のコミュニティ) https://rancherjp.connpass.com/


Cloudera Evolve 24 Singapopre

https://www.cloudera.com/events/evolve/singapore.html


Cloudera社によるデータカタログと Iceberg REST Catalog 統合のPR https://prtimes.jp/main/html/rd/p/000000014.000124537.html


Apache Porlris (Polaris Catalog)

https://polaris.apache.org/


Polaris のOSS化アナウンス (Snowflake)

https://www.snowflake.com/en/blog/polaris-catalog-open-source/


Polaris の解説 (Alex Merced)

https://www.linkedin.com/pulse/understanding-polaris-iceberg-catalog-its-alex-merced-es6ac/


Apache Polaris と OSS Unity Catalogとの比較 (OSS Insight)

https://ossinsight.io/analyze/apache/polaris?vs=unitycatalog%2Funitycatalog


Rest Comatibikity Kit (RCK) の追加(プルリクエスト) https://github.com/apache/iceberg/pull/10908


HiveにIceberg REST catalogを追加する(プルリクエスト) https://github.com/apache/hive/pull/5145


Iceberg Spec V3 Enctyption https://github.com/orgs/apache/projects/393/views/1

IcebegのRangerサポートのIssue https://github.com/apache/iceberg/issues/3619


OTF Talk #5 Deltaleke UniForm

https://www.otftalk.com/2024/08/ep02.html


IcebergのAES GCM Stream file format extension (Spec) https://iceberg.apache.org/gcm-stream-spec/

Open Policy Agent (OPA) https://www.openpolicyagent.org/

場所: 日本、東京都

コメント

コメントを投稿

このブログの人気の投稿

大規模データ分析環境での Apache Iceberg + Snowflake 活用の経験 (#33)

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 第33回は、NTTドコモ 松原 侑哉 さんに、「大規模データ分析環境での Apache Iceberg + Snowflake 活用の経験」についてお話をうかがいました。 #33 大規模データ分析環境での Apache Iceberg + Snowflake 活用の経験 (2-10) https://open.spotify.com/show/27g3HFW9LcEbFlJIYqvsug ペタバイト級データを処理するインフラの変遷/Iceberg評価の背景とモチベーション/ベンチマークの方法と結果/今後について guest: NTTドコモ プリンシパルデータエンジニア  松原 侑哉 さん host: @simosako 下佐粉 昭 AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 -------------------- 参考） Apache Iceberg Meetup Japan #3 https://iceberg.connpass.com/event/364492/ 松原さん発表資料 https://speakerdeck.com/y_matsubara/apache-iceberg-meetup-japan-number-3-da-gui-mo-snowflake-plus-anoicebergnohuo-yong
コメントを投稿
続きを読む

ハイトラフィックな更新処理が必要な環境でのApache Iceberg検証 (#35)

OTF Talk 第35回は、Repro チーフアーキテクトの joker1007さんに「ハイトラフィックな更新処理が必要な環境でのApache Iceberg検証」についてお話をうかがいました。 既存環境の課題/Icebergでデータとコンピュートを分離する/データ更新と参照ラグ/コンパクションの課題と工夫/今後の展望 https://open.spotify.com/show/27g3HFW9LcEbFlJIYqvsug https://youtu.be/w8rwZ-b3YNk OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。  https://www.otftalk.com/ guest: guest： @joker100 7 Repro チーフアーキテクト  host: @simosako 下佐粉 昭 AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 -------------------- 参考） joker1007さんXアカウント - https://x.com/joker1007 ReproでのApache Icebergの技術検証結果 https://tech.repro.io/entry/2025/11/13/161646 前回のOTF Talkでのご出演 - Hudiの話 (#19, #20)  https://www.otftalk.com/2024/11/ep9.html 前回検証結果のブログ https://tech.repro.io/entry/2024/10/28/170721
コメントを投稿
続きを読む

Apache Kafka と Open Table Format (#34)

OTF Talk 第34回はConfluent 清水 亮夫 さんに、「Apache Kafka と Open Table Format」についてお話をうかがいました。 リアルタイム処理とOTF/Kafkaの特徴/Kafkaと他システムとの連携/Kafka Connector/Iceberg Sink Connectorの機能と注意点 https://open.spotify.com/show/27g3HFW9LcEbFlJIYqvsug https://youtu.be/Md6JWEuW8vw OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 https://www.otftalk.com/ guest: @shmza Confluent ソリューションエンジニアの清水 亮夫 さん host: @simosako 下佐粉 昭 AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 -------------------- 参考） 清水さん X https://x.com/shmza Apache Iceberg Meetup Japan #3 https://iceberg.connpass.com/event/364492/ 発表資料 https://speakerdeck.com/shmza/kafkawoli-yong-sitaiceberghenodetasutorimingu Apache Kafka https://kafka.apache.org/  Kafka connectors https://docs.confluent.io/platform/current/connect/kafka_connectors.html Apache Iceberg Sink Connector https://github.com/apache/iceberg/tree/main/kafka-connect Kafka-delta-ingest https://github.com/de...
コメントを投稿
続きを読む