flinkmysql数据接入的方法-成都快上网建站

flinkmysql数据接入的方法

这篇文章主要讲解了“flink MySQL数据接入的方法”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“flink mysql数据接入的方法”吧!

公司主营业务:成都网站设计、做网站、移动网站开发等业务。帮助企业客户真正实现互联网宣传,提高企业的竞争能力。创新互联是一支青春激扬、勤奋敬业、活力青春激扬、勤奋敬业、活力澎湃、和谐高效的团队。公司秉承以“开放、自由、严谨、自律”为核心的企业文化,感谢他们对我们的高要求,感谢他们从不同领域给我们带来的挑战,让我们激情的团队有机会用头脑与智慧不断的给客户带来惊喜。创新互联推出阿鲁科尔沁免费做网站回馈大家。

一.api方式接入

1.添加依赖

       

            com.alibaba.ververica        

            flink-connector-mysql-cdc        

                      1.1          .          0                  

       

2.API代码

public                     static                     void                     main(String[] args)           throws                     Exception {        

              SourceFunction sourceFunction = MySQLSource.builder()        

                .hostname(          "localhost"          )        

                .port(          3306          )        

                .databaseList(          "test"          )        

                .tableList(          "test"          )        

                .deserializer(          new                     StringDebeziumDeserializationSchema())        

                .build();        

 

              StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();        

              env.addSource(sourceFunction)        

                .print().setParallelism(          1          );        

              env.execute();        

            }        

二.sql方式接入

1.添加jar包至lib下

flink-sql-connector-mysql-cdc_1.1.0.jar

2.mysql中创建表

create                     table                     test(        

id           INT          ,        

name                     varchar          (100),        

description           varchar          (100),        

weight           DECIMAL          (10,3)        

)        

3.创建元数据

CREATE                     TABLE                     mysql_test (        

           id           INT                     NOT                     NULL          ,        

           name                     STRING,        

           description STRING,        

           weight           DECIMAL          (10,3)        

         WITH                     (        

           'connector'                               'mysql-cdc'          ,        

           'hostname'                               'localhost'          ,        

           'port'                               '3306'          ,        

           'username'          =          'root'          ,        

           'password'          =          'root'          ,        

           'database-name'                               'test'          ,        

           'table-name'                               'test'        

);        

4.使用查询sql

SELECT                     id,           UPPER          (          name          ), description, weight           FROM                     mysql_test;        

5.增加和删除表字段测试

增加不影响

删除表字段后,会出错

[ERROR] Could not execute SQL statement. Reason:
org.apache.kafka.connect.errors.DataException: name is not a valid field name

注:mysql的版本如果是8.0,flink端链接会出错

com.github.shyiko.mysql.binlog.network.AuthenticationException: Client does not support authentication protocol requested by server; consider upgrading MySQL client 

出现上述问题的原因是:mysql8 之前的版本中加密规则是mysql_native_password,而在mysql8之后,加密规则是caching_sha2_password 把mysql用户登录密码加密规则还原成mysql_native_password

解决方案:在mysql中执行以下命令

alter user 'root'@'%' identified with mysql_native_password by 'root';  修改认证规则

flush privileges;  刷新权限

感谢各位的阅读,以上就是“flink mysql数据接入的方法”的内容了,经过本文的学习后,相信大家对flink mysql数据接入的方法这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是创新互联,小编将为大家推送更多相关知识点的文章,欢迎关注!


当前题目:flinkmysql数据接入的方法
转载源于:http://kswjz.com/article/jojses.html
扫二维码与项目经理沟通

我们在微信上24小时期待你的声音

解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流