温馨提示  2024年 6月我们已经停止开发者板块文章内容更新,谢谢来访。存档数据
知识 2023-08-30 29 次阅读

apache flink table api和sql api的外部数据源是什么

   

小编给大家分享一下apache flink table api和sql api的外部数据源是什么,相信大部分人都还不怎么了解,因此分享本文给大家参考一下,希望大家阅读完本文后大有收获,下面叫我们一起去了解一下吧!

“ apache flink的table api与sql api实现对接外部数据源的方法是table connector直连外部数据源,tabel connector将外部的数据源读取到flink中进行计算或者把apache flink的结果写入到外部数据源之中。”

apache flink的table api与sql api在之前已经提及了table source与table sink的方法对实现数据源的注册于结果的写入等。apache flink已经基本实现了对于的数据源的注册于写入的需求,但是仍然不够灵活,用户更加希望的可能是通过配置的方法实现对于不同数据源的选择,并且实现数据的写入。所以apache flink又提供了table connector。

table connector的实现不仅仅能够更好的api与sql client,同时table connector类似与实现了create table 的方法对数据进行了注册,能够实现再不修改代码的情况下实现把数据写入不同的位置。tabel connector方法指定了需要连接table connector对应的descriptor,withformat方法指定了输出或输入的文件格式(csv,json,parquet等)。withschema方法指定了注册在tableenvironment中的表结构。

tableenv.connect(...)
.withformat(...)
.withschema(...)
.inappendmode() //更新模式
.registertablesource(mytable)

通过以上方法注册数据源后,我们可直接把数据读取或者写入到该表中。这么说来我们可实现类似于像操作dbms表的数据一样操作该表进行数据读取与写入。

在当前的很多云场景中,类似于阿里云,华为云等均提供了实时计算的产品,产品使用sql的方法进行注册,注册指定云厂商的其他产品与存储格式等 withschema ,指定读取的数据结构 withschema 与更新的模式等即可实现数据的读取或计算结果的写入。

create table datahub,stream(
 name varchar,
 age bigint,
 birthday bigint
) with (
 type='产品',
 endpoint='...',
 project='...',
 topic='...'
 ...
);

我们在使用时涉及的步骤也大致分为这些,如下代码。connect方法指定了连接对应的desciriptor,withformat指定输出或输入的文件格式,例如json,csv,avro等。withschema用以指定注册在tableenvironment中的表结构。inappendmode指定了数据的更新模式。最终通过registertablesource方法将这次外部数据源注册到tableenvironment中,用以进行查询计算。

talbenv.connect(...)
.withformat(...)
.withschema(...)
.inappendmode()
.registertablesource(tablename)

以上是“apache flink table api和sql api的外部数据源是什么”本文的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注亿速云行业资讯频道!