スキップしてメイン コンテンツに移動

OTFのコミュニティ/Polris Catalog/Icebergのセキュリティ (#08～#10)

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。

#08～#10では、マイクロアド 永富 安和 さんをゲストに、OTFのコミュニティやIcebergの今後の機能追加、Polaris Catalog、セキュリティ機能など、多様なトピックについてお話をうかがいました。


guest： @yassan168 (永富 安和)

マイクロアド シニアエンジニア


host: @simosako (下佐粉 昭)

AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。


※感想は #OTFTalk でポストいただけると励みになります。

※発言は各個人のものであり、所属組織を代表するものではありません。


第8回：OTFSGとCloudera Evolve 2024

OTF Talk 第8回は、”やっさん”こと、永富安和さんに、日本のOTFコミュニティであるOTFSGや、シンガポールで開催されたIceberg meet-upでの話題についてお話を伺いました。

日本のコミュニティOTFSG/Cloudera Evolve 2024 Singapore/Iceberg Meetupでの今後の方向性/


https://podcasters.spotify.com/pod/show/otftalk/episodes/08-OTFSGCloudera-Evolve-2024-e2o4lcl

https://youtu.be/qHc9E5TgJdc


第9回：Polaris Catalog

OTF Talk 第9回は、”やっさん”こと、永富安和さんに、Icebergのカタログ周りやPolaris Catalogについてお話をうかがいました。

Icebergにとってのカタログの位置づけ/Polaris Catallog/OSS化の動きと意義/Iceberg REST API 仕様を内包する動き

https://podcasters.spotify.com/pod/show/otftalk/episodes/09-Polaris-Catalog-e2o4le0

https://youtu.be/HP_uItt840k


第10回：Icebergとセキュリティ

OTF Talk 第10回は、”やっさん”こと、永富安和さんに、Icebergのセキュリティ（暗号化等）の動きや、検討されている機能追加についてお話をうかがいました。

Icebergとセキュリティ/暗号化/アクセス制御/どこまでスペックにいれるべきか？/その他検討されている機能/OTFSGへの参加お待ちしております


https://podcasters.spotify.com/pod/show/otftalk/episodes/10-Iceberg-e2o4leo

https://youtu.be/KtgbYVPk2HQ


参考文献）

日本のOTFコミュニティ OTFSG https://otfsg-tokyo.connpass.com/


Rancher ユーザー会 (やっさんが管理者のコミュニティ) https://rancherjp.connpass.com/


Cloudera Evolve 24 Singapopre

https://www.cloudera.com/events/evolve/singapore.html


Cloudera社によるデータカタログと Iceberg REST Catalog 統合のPR https://prtimes.jp/main/html/rd/p/000000014.000124537.html


Apache Porlris (Polaris Catalog)

https://polaris.apache.org/


Polaris のOSS化アナウンス (Snowflake)

https://www.snowflake.com/en/blog/polaris-catalog-open-source/


Polaris の解説 (Alex Merced)

https://www.linkedin.com/pulse/understanding-polaris-iceberg-catalog-its-alex-merced-es6ac/


Apache Polaris と OSS Unity Catalogとの比較 (OSS Insight)

https://ossinsight.io/analyze/apache/polaris?vs=unitycatalog%2Funitycatalog


Rest Comatibikity Kit (RCK) の追加(プルリクエスト) https://github.com/apache/iceberg/pull/10908


HiveにIceberg REST catalogを追加する(プルリクエスト) https://github.com/apache/hive/pull/5145


Iceberg Spec V3 Enctyption https://github.com/orgs/apache/projects/393/views/1

IcebegのRangerサポートのIssue https://github.com/apache/iceberg/issues/3619


OTF Talk #5 Deltaleke UniForm

https://www.otftalk.com/2024/08/ep02.html


IcebergのAES GCM Stream file format extension (Spec) https://iceberg.apache.org/gcm-stream-spec/

Open Policy Agent (OPA) https://www.openpolicyagent.org/

場所: 日本、東京都

コメント

コメントを投稿

このブログの人気の投稿

OTF (Open Table Format)入門 (#01～#03)

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 この#01～#03では、AWSの疋田さんをゲストに、OTF (Open Table Format) 入門と題して3回にわたってお話を伺いました。 #01 OTF (Open Table Format)入門 - OTF誕生の背景  (youtubeは こちら ) #02  OTF (Open Table Format)入門 - OTFの今 (youtubeは こちら ) #03 OTF (Open Table Format)入門 - OTFのこれから  (youtubeは こちら ) guest: @_Bassari (疋田 宗太郎/べりんぐ) AWSで金融のお客様を担当するソリューションアーキテクト。余暇はOTF/Iceberg関連の技術を探求中。 host: @simosako (下佐粉 昭) AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 参考文献) ■全般 べりんぐさんブログでのOTFへの全般的な解説 https://bering.hatenadiary.com/entry/2023/07/17/235246 Iceberg, Hudi, Delta Lakeの比較記事 ※記事はDremio社によるものです。DremioはIcebergにコミットしている企業である事に留意してください。 https://www.dremio.com/blog/comparison-of-data-lake-table-formats-apache-iceberg-apache-hudi-and-delta-lake/ ■ Apache Iceberg ホームページ https://iceberg.apache.org/ べりんぐさんブログでのIcebergの解説 https://bering.hatenadiary.com/entry/2023/09/24/175953 Iceberg: a fast table...
コメントを投稿
続きを読む

Open Table Format (OTF) のユースケース (#6, #7)

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。この#6～#7では、AWS Glue プロダクトチームの関山 宜孝さんをゲストにOpen Table Format (OTF) のユースケースについてお話を伺いました。 ※今回録音環境に問題があったため、ゲストの声が聴きづらくなっています。 ゲスト: Noritaka Sekiyama ( @moomindani ) AWS Glue product team 所属の Principal Big Data Architect host:  @simosako  (下佐粉 昭) AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 第6回：OTFのユースケース:CDCによるニアリアルタイムデータ連携 OTF Talk 第6回は、AWS Glue プロダクトチームの関山 宜孝さんをゲストに、OTFのユースケースの１つであるCDC (Change Data Capture)の活用についてお話をうかがいました。 ※今回録音環境に問題があったため、ゲストの声が聴きづらくなっています。 OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 RDBをリアルタイムにdata lakeに連携したい/CDC (Change Data Capture)/なぜ実現困難だったのか/Upsertとトランザクション/データレイクをデータソースにする https://podcasters.spotify.com/pod/show/otftalk/episodes/06-CDC-e2ntfg8/a-abgp2pr https://youtu.be/rc-DmRLeEFU?si=rPakLaQpNIdwEeU0 第7回：OTFのユースケース:個人情報保護のためのデータ削除 OTF Talk 第7回は、AWS Glue プロダクトチームの関山 宜孝さんをゲストに、OTFのユー...
コメントを投稿
続きを読む

Iceberg へのコントリビューション/Delta Lake UniForm (#4, #5)

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。この#4～#5ではAWSの田中 智大 (tomtan) さんをゲストにお話を伺いました。 guest： Tomohiro Tanaka   AWSのシニア・クラウドサポートエンジニア(Bigdata profile) host: @simosako (下佐粉 昭) AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 #04 Apache Iceberg へのコントリビューション OTF Talk 第4回は、AWSの田中 智大 (tomtan) さんをゲストに、Apache Iceberg へのコントリビューションの経験や、Icebergコミュニティについてお話を伺いました。 Apache Iceberg との出会い/はじめてのコントリビューション/どうすれば貢献できる?/Good first issue/Iceberg コミュニティ https://podcasters.spotify.com/pod/show/otftalk/episodes/04-Apache-Iceberg-e2n9ljk https://youtu.be/wxn9YPdZyrI #05 Delta Lake UniForm (Universal Format) OTF Talk 第5回は、AWSの田中 智大(tomtan) さんをゲストに Delta Lake UniForm  (Universal Format) についてと、カンファレンスに登壇する意義についてお話を伺いました。 Data + AI Summit で登壇/UniForm (Universal Format)ってなに？/UniFormの仕組みと、活用領域/ カンファレンスに登壇するモチベーション/物理的に会ったあとに何が変わったか https://podcasters.spotify.com/pod/show/otftalk/episodes/05-Delta-Lake-UniFor...
コメントを投稿
続きを読む