嘉兴 做网站 推广,典当行网站源码,网站开发人员,怎么自己制作公众号目录 概述配置flink 配置kyuubi 配置kyuubi-defaults.confkyuubi-env.shhive 验证启动kyuubibeeline 连接使用hive catlogsql测试 结束 概述 flink 版本 1.17.1、kyuubi 1.8.0、hive 3.1.3、paimon 0.5 整合过程中#xff0c;需要注意对应的版本。 注意以上版本 配置 ky… 目录 概述配置flink 配置kyuubi 配置kyuubi-defaults.confkyuubi-env.shhive 验证启动kyuubibeeline 连接使用hive catlogsql测试 结束 概述 flink 版本 1.17.1、kyuubi 1.8.0、hive 3.1.3、paimon 0.5 整合过程中需要注意对应的版本。 注意以上版本 配置 kyuubi flink yarn session mode 官网文档 flink 配置 taskmanager.memory.process.size: 8094m taskmanager.memory.managed.size: 128m taskmanager.numberOfTaskSlots: 2 execution.target: yarn-session # YARN Session Cluster application id. yarn.application.id: application_1694575187997_0426yarn.application.id: application_1694575187997_0426 kyuubi 配置 官网下载https://kyuubi.apache.org/releases.htmlkyuubi conf下三个配置文件去 template后缀配置 kyuubi-defaults.conf、kyuubi-env.sh kyuubi-defaults.conf 此处配置引擎类型, flink 的模式这两个重要的。 kyuubi.engine.type FLINK_SQL flink.execution.target yarn-session kyuubi.ha.namespace kyuubikyuubi-env.sh 没有采用 hadoop 集群默认的配置java 及 flink 使用的都是定制的版本。 export JAVA_HOME/data/jdk-11.0.20 export FLINK_HOME/data/soft/flink-1.17.1 export HADOOP_CLASSPATHhadoop classpath export HADOOP_CONF_DIR/data/hadoop/etc/hadoop export FLINK_HADOOP_CLASSPATH${HADOOP_HOME}/share/hadoop/client/hadoop-client-runtime-3.2.4.jar:${HADOOP_HOME}/share/hadoop/client/hadoop-client-api-3.2.4.jarhive 生产上 paimon 的 catlog 信息是 hive 存储的。 CREATE CATALOG paimon_hive WITH (type paimon,metastore hive,uri thrift://10.xx.xx.22:9083,warehouse hdfs:///data/hive/warehouse/paimon,default-databasetest );USE CATALOG paimon_hive;验证 **注意**下面启动相应的组件进行相关的验证。 启动kyuubi 验证一下正常启动如下 [rootks2p-hadoop06 apache-kyuubi-1.8.0-bin]# netstat -nlp | grep :10009 tcp 0 0 10.xx.xx.22:10009 0.0.0.0:* LISTEN 218311/java beeline 连接 [rootks2p-hadoop06 apache-kyuubi-1.8.0-bin]# bin/beeline -u jdbc:hive2://10.xx.xx.22:10009/ -n root 2023-12-05 15:44:11.807 INFO KyuubiSessionManager-exec-pool: Thread-138 org.apache.kyuubi.operation.LaunchEngine: Processing roots query[a6dd7b3b-9c18-4171-9cac-c202f0b77054]: RUNNING_STATE - FINISHED_STATE, time taken: 0.072 seconds Connected to: Apache Flink (version 1.17.1) Driver: Kyuubi Project Hive JDBC Client (version 1.8.0) Beeline version 1.8.0 by Apache Kyuubi 0: jdbc:hive2://10.xx.xx.22:10009/ 使用hive catlog sql测试 重要的步骤 设置 flink 为批模式 SET execution.runtime-modebatch;结束 kyuubi flink yarn session mode 至此结束如有问题欢迎评论区留言。