Trino概要とOTF対応のコネクタ (#11,12)

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。

#11と#12ではStarburst の 蛯原 裕弥 さんをゲストに、Trinoの成り立ちやフェデレーション機能、TrinoコネクタのIceberg, Delta lake対応についてお話をうかがいました。

guest： @ebyhr (蛯原 裕弥)

Starburst Engineer / Trino, Apache Polaris committer

host: @simosako (下佐粉 昭)

AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。

※感想は #OTFTalk でポストいただけると励みになります。

※発言は各個人のものであり、所属組織を代表するものではありません。

第11回：Trinoの成り立ちとコネクタの役割

OTF Talk 第11回は、Starburst の 蛯原 裕弥 さんに、OTFのデータをクエリする際によく利用されている分散SQLエンジンであるPresto/Trinoの成り立ちや、Trinoのフェデレーション機能と各種コネクタについてお話をうかがいました。

PrestoとTrinoの成り立ち/Trinoの特徴/フェデレーション機能とコネクタ/実装はどこが担うのか

https://podcasters.spotify.com/pod/show/otftalk/episodes/11-Trino-e2p8r58/a-abiia6n

https://youtu.be/vvfo60ZCq1M?si=OfG9ZXSVRqMgN08q

※感想は #OTFTalk でポストいただけると励みになります。

※発言は各個人のものであり、所属組織を代表するものではありません。

第12回：Trinoコネクタからみた OTF (Iceberg, Delta lake)

OTF Talk 第12回は、Starburst の 蛯原 裕弥 さんに、OTF(Iceberg, Delta lake)をサポートするTrinoのコネクタについて、概要やその実装方法についてお話をうかがいました。

Trinoコネクタの役割/Icebergコネクタ/Trino+コネクタの特徴/Delta lakeコネクタ/Delta kernelを使っていない理由

https://podcasters.spotify.com/pod/show/otftalk/episodes/12-Trino-OTF-Iceberg--Delta-lake-e2p8r68/a-abiia8d

https://youtu.be/k6SKMwLkmZI?si=FBgvfLkN7EWc23Jx

参考文献）

Starburst

https://www.starburst.io/

Apache Polaris

https://polaris.apache.org/

Presto

https://prestodb.github.io/

Trino

https://trino.io/

Write-Audit-Publish (WAP)解説 (Tabular)

https://www.tabular.io/apache-iceberg-cookbook/data-engineering-write-audit-publish/

蛯原さんのWrite-Audit-Publish (WAP)の実装のための活動(pull request)

https://github.com/trinodb/trino/pull/23513

誤った統計情報を読み取った場合の挙動についてのpull request

https://github.com/apache/iceberg/pull/8559

Delta kernel

https://delta.io/blog/delta-kernel/