Flink 1.12 CDH 6.3 集成

之前记录的:Flink 1.9 CDH 6.3 集成
有些下载链接可能被官方关闭了,这里介绍1.12版本集成,并把安装包下载地址换为百度网盘链接

下载安装包

链接: https://pan.baidu.com/s/112fiaaMAMMXMsyiTDh3qjg 
提取码: ar5f 

安装包内容

FLINK-1.12.1-BIN-SCALA_2.12-el7.parcel
FLINK-1.12.1-BIN-SCALA_2.12-el7.parcel.sha
FLINK_ON_YARN-1.12.1.jar
manifest.json

安装

第一步

FLINK_ON_YARN-1.12.1.jar放到 /opt/cloudera/csd目录下

第二步

在我们安装httpd服务 /var/www/html目录下创建flink目录,将下面三个文件放在flink目录下

FLINK-1.12.1-BIN-SCALA_2.12-el7.parcel
FLINK-1.12.1-BIN-SCALA_2.12-el7.parcel.sha
manifest.json

在这里插入图片描述

第三步 修改httpd服务

参考:https://datamining.blog.csdn.net/article/details/121630806
新增 .parcel配置

[root@localhost bigdata]# vim /etc/httpd/conf/httpd.conf#在<IfModule mime_module>模块添加 parcel选项<IfModule mime_module>## TypesConfig points to the file containing the list of mappings from# filename extension to MIME-type.#TypesConfig /etc/mime.types## AddType allows you to add to or override the MIME configuration# file specified in TypesConfig for specific file types.##AddType application/x-gzip .tgz## AddEncoding allows you to have certain browsers uncompress# information on the fly. Note: Not all browsers support this.##AddEncoding x-compress .Z#AddEncoding x-gzip .gz .tgz## If the AddEncoding directives above are commented-out, then you# probably should define those extensions to indicate media types:#AddType application/x-compress .ZAddType application/x-gzip .gz .tgz .parcel #此处添加.parcel#

重启http服务

[root@localhost bigdata]#systemctl restart httpd

3.配置CDH Flink Parcel

在这里插入图片描述
点击配置进入,新增flink链接
在这里插入图片描述
确认后会在parcel中出现flink,如下图
PS:这里截图是之前版本的
在这里插入图片描述

点击下载
在这里插入图片描述
点击分配
在这里插入图片描述
点击激活
在这里插入图片描述
激活成功
在这里插入图片描述
重启服务

systemctl restart cloudera-scm-server

添加服务
在这里插入图片描述
添加Flink
在这里插入图片描述
选择需要安装节点点击继续
注意这里安装一个节点就行,yarn模式都是在yarn中运行
在这里插入图片描述
启动成功
在这里插入图片描述
重启Cloudera Management Service,(不重启的话CDH无法监控到)

问题解决

NoClassDefFoundError: org/apache

启动flink时失败,日志报错招不到Yarn的jar包
在这里插入图片描述
下载jar包

https://mvnrepository.com/artifact/org.apache.flink/flink-shaded-hadoop-3-uber/3.1.1.7.2.9.0-173-9.0

上传到目录

/opt/cloudera/parcels/FLINK/lib/flink/lib

java.lang.NoSuchMethodError: org.apache.commons.cli.Option.builder(Ljava/lang/String;)Lorg/apache/commons/cli/Option$Builder;

16:12:34.454 [main] ERROR org.apache.flink.yarn.cli.FlinkYarnSessionCli - Error while running the Flink session.
java.lang.NoSuchMethodError: org.apache.commons.cli.Option.builder(Ljava/lang/String;)Lorg/apache/commons/cli/Option$Builder;at org.apache.flink.yarn.cli.FlinkYarnSessionCli.<init>(FlinkYarnSessionCli.java:230) ~[flink-dist_2.12-1.12.1.jar:1.12.1]at org.apache.flink.yarn.cli.FlinkYarnSessionCli.<init>(FlinkYarnSessionCli.java:156) ~[flink-dist_2.12-1.12.1.jar:1.12.1]at org.apache.flink.yarn.cli.FlinkYarnSessionCli.main(FlinkYarnSessionCli.java:851) [flink-dist_2.12-1.12.1.jar:1.12.1]------------------------------------------------------------The program finished with the following exception:java.lang.NoSuchMethodError: org.apache.commons.cli.Option.builder(Ljava/lang/String;)Lorg/apache/commons/cli/Option$Builder;at org.apache.flink.yarn.cli.FlinkYarnSessionCli.<init>(FlinkYarnSessionCli.java:230)at org.apache.flink.yarn.cli.FlinkYarnSessionCli.<init>(FlinkYarnSessionCli.java:156)at org.apache.flink.yarn.cli.FlinkYarnSessionCli.main(FlinkYarnSessionCli.java:851)
[root@r-wb-14 ~]# 

下载jar包放到目录

https://mvnrepository.com/artifact/commons-cli/commons-cli/1.3.1
/opt/cloudera/parcels/FLINK/lib/flink/lib

kerberos login configuration is invalid

在这里插入图片描述
原因是因为配置了kerberos,上面安装包默认的配置,这个要删除掉
在这里插入图片描述
相关资料文档:

  1. Flink1.12.3+CDH6.3.1集成.docx
    链接: https://pan.baidu.com/s/1QaaihgJM7QDO7yRzi4xbCg
    提取码: 97n2*
  2. https://blog.csdn.net/weixin_43215250/article/details/105725330

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/509579.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

合并流

合并流/顺序流(SequenceInputStream): 就是把多个输入流,合并成一个流对象.

gvim常用的配置及插件 -windows

gvim常用的配置及插件 接触vim也已经有一年多了&#xff0c;期间也用过一段时间的SourceInsight&#xff0c;SourceInsight是Windows下一款不错的查看代码的软件。利用它可以迅速的了解一个大型程序的结构。后来在Linux下进行了一段时间的程序开发&#xff0c;就回到vim上了,经…

数据结构实验之求二叉树后序遍历和层次遍历

题目描述 已知一棵二叉树的前序遍历和中序遍历&#xff0c;求二叉树的后序遍历。输入 输入数据有多组&#xff0c;第一行是一个整数t (t<1000)&#xff0c;代表有t组测试数据。每组包括两个长度小于50 的字符串&#xff0c;第一个字符串表示二叉树的先序遍历序列&#xff0c…

CDH 6 安装服务哈希验证失败 解决方法

当安装cdh 6&#xff0c;使用本地搭建的parcel时&#xff0c;出现了哈希验证失败的问题&#xff1a; 查看了parcel的sha值&#xff0c;与官网的一致&#xff0c;没有问题&#xff1a; #parcel sha值 [rootlocalhost bigdata]# sha1sum CDH-6.0.0-1.cdh6.0.0.p0.537114-el7.pa…

Arrays.sort()用来自定义排序的使用

compareTo方法 public int compareTo(String anotherString)按字典顺序比较两个字符串。该比较基于字符串中各个字符的 Unicode 值。按字典顺序将此 String 对象表示的字符序列与参数字符串所表示的字符序列进行比较。如果按字典顺序此 String 对象位于参数字符串之前&#xf…

gvim配置

手把手教你把Vim改装成一个IDE编程环境(图文) By:吴垠Date:2007-09-07Version:0.5Email:lazy.fox.wu#gmail.comHomepage:http://blog.csdn.net/wooinCopyright:该文章版权由吴垠和他可爱的老婆小包子所有。可在非商业目的下任意传播和复制。对于商业目的下对本文的任何行为需…

双向队列

题目描述 想想双向链表……双向队列的定义差不多&#xff0c;也就是说一个队列的队尾同时也是队首&#xff1b;两头都可以做出队&#xff0c;入队的操作。 现在给你一系列的操作&#xff0c;请输出最后队列的状态&#xff1b; 命令格式&#xff1a; LIN X X表示一个整数&#…

Dubbo调用时报错Invalid token Forbid invoke remote service interface

dubbo开启token服务后&#xff0c;使用集群容错策略为FailoverClusterInvoker&#xff0c;当出现服务调用失败进行转移&#xff0c;重试其它服务器时&#xff0c;会出现token invalid错误&#xff0c;provider会拒绝服务调用。 原因&#xff1a; 消费端&#xff1a; 1、com.…

蓝桥杯-方格填数

方格填数 如下的10个格子 ––– | | | | –––– | | | | | –––– | | | | ––– &#xff08;如果显示有问题&#xff0c;也可以参看【图1.jpg】&#xff09; 填入0~9的数字。要求&#xff1a;连续的两个数字不能相邻。 &#xff08;左右、上下、对角都算相邻…

Gvim开发环境配置笔记--Windows篇

环境&#xff1a;Windows7 旗舰版 1、安装Gvim7.3 &#xff1a; 下载地址http://www.vim.org/download.php#pc。 2、安装中文帮助&#xff1a;vimcdoc-1.8.0-setup.exe 地址http://vimcdoc.sourceforge.net/ 会自动识别gvim的安装路径&#xff0c; 安装完后&#xff0c;gvim菜单…

Grafana : 前端页面 通过API Key免登录访问Grafana

文章目录场景一是使用匿名登陆&#xff0c;最简单方便二是使用grafana颁发一个API Key。场景 平台要集成grafana&#xff0c;想绕过用户登录&#xff0c;目前知道有2个方法。 前提&#xff1a;先修改配置defaults.ini/grafana.ini允许嵌入 allow_embedding true一是使用匿名…

数据结构实验之队列一:排队买饭

题目描述 中午买饭的人特多,食堂真是太拥挤了,买个饭费劲,理工大的小孩还是很聪明的,直接奔政通超市,哈哈,确实,政通超市里面也卖饭,有好几种菜,做的比食堂好吃多了,价格也不比食堂贵,并且买菜就送豆浆,吸引了不少童鞋。所以有时吧&#xff0c;人还是很多的&#xff0c;排队是免…

vim配置vimrc详解

一、vim/gvim 环境变量 1. vimrc的存放位置&#xff1a; 系统 vimrc 文件: "$VIM/vimrc" 用户 vimrc 文件: "$HOME/.vimrc" 用户 exrc 文件: "$HOME/.exrc" 系统 gvimrc 文件: "$VIM/gvimrc" 用户 gvimrc 文件: "$HOME/.g…

CentOS 使用iso镜像安装本地 yum 源

文章目录下载服务器镜像挂载iso镜像修改yum源挂载iso到系统中查看挂载状态挂载完成后清缓存安装服务测试下载服务器镜像 下载与我们服务器相同版本的服务器镜像。 查看当前服务器版本 [rootiZot101s4kxuygvttz67vjZ yum.repos.d]# cat /etc/redhat-release CentOS Linux re…

refresh的停车场

题目描述 refresh最近发了一笔横财&#xff0c;开了一家停车场。由于土地有限&#xff0c;停车场内停车数量有限&#xff0c;但是要求进停车场的车辆过多。当停车场满时&#xff0c;要进入的车辆会进入便道等待&#xff0c;最先进入便道的车辆会优先 进入停车场&#xff0c;而且…

vim目录说明

plugin、autoload、ftplugin有什么区别 很多初用vim的朋友在安装插件时都会有些疑惑。同样的插件&#xff0c;有些教程说安装在plugin目录&#xff0c;有些说安装在ftplugin目录&#xff0c;有些说安装在autoload目录&#xff0c;到底这些目录的区别是什么呢&#xff1f;今天阿…

Grafana Prometheus 服务安装部署(Linux服务器监控)

文章目录一、概述二、安装Prometheus1.安装node_exporter2.安装Prometheus三、安装Grafana展示监控监控进程一、概述 Prometheus 介绍 Prometheus是一套开源的监控&报警&时间序列数据库的组合&#xff0c;起始是由SoundCloud公司开发的。随着发展&#xff0c;越来越多…

加法变乘法(蓝桥杯)

题意&#xff1a; 我们都知道&#xff1a;123 … 49 1225 现在要求你把其中两个不相邻的加号变成乘号&#xff0c;使得结果为2015 比如&#xff1a; 123…10*1112…27*2829…49 2015 就是符合要求的答案。 请你寻找另外一个可能的答案&#xff0c;并把位置靠前的那个乘…

离散事件模拟-银行管理

题目描述 现在银行已经很普遍&#xff0c;每个人总会去银行办理业务&#xff0c;一个好的银行是要考虑 平均逗留时间的&#xff0c;即&#xff1a; 在一定时间段内所有办理业务的人员逗留的时间的和/ 总的人数。逗留时间定义为 人员离开的时间减去人员来的时间。银行只有考虑了…

Vim升华之树形目录插件NERDTree安装图解

无意中看到实验室的朋友使用的vim竟然能在左边显示树形目录&#xff0c;感觉很方便&#xff0c;这样子文件夹有什么文件一目了然。她说是一个插件叫NERDTree&#xff0c;安装执行后的效果如下&#xff0c;不是你想要的效果就别安了。我的系统是Ubuntu12.04&#xff0c;版本不同…