《SparkSQL--通过ThriftServer连接DataGrip》

ThriftServer

  • 功能:类似于HiveServer2,负责解析客户端提交的SQL语句,转换成Spark的任务进行执行
  • 本质:Spark中的一个特殊的程序,利用程序的资源运行所有SQL,该程序除非手动关闭,否则一直运行

 启动服务,该服务不会停止,一直在后台启动,假如启动不了,记得查看日志。

/opt/installs/spark/sbin/start-thriftserver.sh \
--hiveconf hive.server2.thrift.port=10001 \
--hiveconf hive.server2.thrift.bind.host=bigdata01 \
--master yarn \
--conf spark.sql.shuffle.partitions=2

sparksql与hive是同步的

停止thiftServer:

/opt/installs/spark/sbin/stop-thriftserver.sh 

使用beeline也可以连接:

/opt/installs/spark/bin/beeline -u jdbc:hive2://bigdata01:10001 -n root -p 123456

遇到的问题hive中的数据库和sparksql 操作的数据库不是同一个

解决方案:在hive 下修改hive-site.xml

<property><name>hive.metastore.schema.verification</name><value>false</value></property>

将hive-site.xml 复制到 spark的conf 下

cp /opt/installs/hive/conf/hive-site.xml /opt/installs/spark/conf

修改spark下的hive-site.xml

<property><name>hive.server2.thrift.port</name><value>10001</value><description>Port number of HiveServer2 Thrift interface when hive.server2.transport.mode is 'binary'.</description></property>

接着分发一下:

xsync.sh /opt/installs/spark/conf/hive-site.xml

重启thrift服务:

/opt/installs/spark/sbin/stop-thriftserver.sh/opt/installs/spark/sbin/start-thriftserver.sh --hiveconf hive.server2.thrift.port=10001 --hiveconf hive.server2.thrift.bind.host=bigdata01 --master yarn --conf spark.sql.shuffle.partitions=2

使用datagrip 重新连接一下,记得刷新一下连接。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/59515.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

为什么Python运行速度这么慢?有什么解决方法吗?

说起简单易学的编程语言&#xff0c;你一定会想到Python&#xff1b;然而&#xff0c;说起Python&#xff0c;许多人在说完它的优点后&#xff0c;会接一句“但是就是慢......” 与其他编程语言相比&#xff0c;Python的速度一直是它为人诟病的一点。但究竟是什么原因导致了它…

如何解决导入aioredis报错TypeError: duplicate base class TimeoutError的问题(轻松解决,亲测有效)

下面是根据你的要求撰写的文章: 文章目录 📖 介绍 📖🏡 演示环境 🏡📒 aioredis导包报错 📒📝 解决方案📝 小贴士⚓️ 相关链接 ⚓️📖 介绍 📖 最近在使用Python异步redis模块aioredis的时候遇到了一个错误,导包报错提示 TypeError: duplicate base cla…

泰鸿万立上会,业绩增速放缓,对吉利、长城依赖度较高

作者&#xff1a;Eric 来源&#xff1a;IPO魔女 2024年11月8日&#xff0c;深交所上市委将审议浙江泰鸿万立科技股份有限公司&#xff08;简称“鸿泰万立”&#xff09;主板IPO申请。公司保荐机构为东方证券。拟募集资金为11.50亿元。 鸿泰万立主营业务为汽车结构件、功能件的…

Vue项目隐藏所有页面/单独某个页面的浏览器原生滚动条

如果要隐藏项目中的所有页面的滚动条&#xff0c;则在 main.css 中添加&#xff1a; body, html {margin: 0 !important; /* 去除默认边距&#xff0c;优化显示效果 */padding: 0 !important; /* 去除默认边距&#xff0c;优化显示效果 */scrollbar-width: none; /* 隐藏滚动条…

【笔记】扩散模型(九):Imagen 理论与实现

论文链接&#xff1a;Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding 非官方实现&#xff1a;lucidrains/imagen-pytorch Imagen 是 Google Research 的文生图工作&#xff0c;这个工作并没有沿用 Stable Diffusion 的架构&#xff0c;而是级…

最新!2024年十大邮件群发软件年终盘点

本篇文章盘点了2024年十大邮件群发软件&#xff0c;分别是“Zoho Campaigns、Mailchimp、Constant Contact、Sendinblue、 GetResponse、AWeber、ActiveCampaign、HubSpot Email Marketing、Campaign Monitor、MailerLite”。 在数字营销中&#xff0c;电子邮件仍然是企业与客…

“2048”游戏网页版html+css+js

“2048”游戏网页版htmlcssjs 别忘了请点个赞收藏关注支持一下博主喵&#xff01;&#xff01;&#xff01; 2048 游戏是一个非常流行的数字拼图游戏&#xff0c;玩家通过移动方块使相同数字的方块合并&#xff0c;最终达到 2048 或更高分数。本教程将详细介绍如何使用 HTML、C…

VScode建立Java项目

学了半天&#xff0c;项目、包是咋创建的都不知道&#x1f62d;&#x1f62d;&#x1f62d;&#xff0c;补习一下✏️✏️✏️ 打开命令面板&#xff0c;“查看”里打开&#xff0c;或者CtrlShiftP。 选择创建Java项目&#xff0c;现在没有用框架&#xff0c;只是普通学习&…

C语言变量与强制类型转换深度解析

在上一篇文章中&#xff0c;小编对数据类型进行了详细的讲解与剖析&#xff0c;所以本篇文章小编要带大家理解变量和强制类型转。还是老规矩&#xff0c;来波鸡汤&#xff0c;学习一定不能着急&#xff0c;无法一下就学明白的知识我们需要给他时间&#xff0c;一定不要在一个知…

蓝桥杯 Python组-神奇闹钟(datetime库)

神奇闹钟 传送门&#xff1a; 0神奇闹钟 - 蓝桥云课​​​​​​ 问题描述 小蓝发现了一个神奇的闹钟&#xff0c;从纪元时间&#xff08;1970 年 11 日 00&#xff1a;00&#xff1a;00&#xff09;开始&#xff0c;每经过 x 分钟&#xff0c;这个闹钟便会触发一次闹铃 (…

国内短剧源码短剧系统搭建小程序部署H5、APP打造短剧平台

​在当今的互联网时代&#xff0c;短剧作为一种新兴的娱乐形式&#xff0c;受到了越来越多用户的喜爱。为了提供更好的用户体验和满足用户需求&#xff0c;一个好的短剧系统需要具备多元化的功能和优质的界面设计。 本文将介绍国内短剧源码短剧系统搭建小程序部署H5、APP所需的…

faiss里面SQ量化4bit是啥意思?具体举例并解释

FAISS&#xff08;Facebook AI Similarity Search&#xff09;是一个用于高效相似性搜索和聚类的库&#xff0c;支持多种量化技术来加速搜索过程。其中&#xff0c;SQ量化&#xff08;Scalar Quantization&#xff09;是一种常见的量化方法&#xff0c;它将浮点数向量转换为整数…

Synchronized 的几种用法解析

背景介绍 说到并发编程&#xff0c;总绕不开线程安全的问题。 实际上&#xff0c;在多线程环境中&#xff0c;难免会出现多个线程对一个对象的实例变量进行同时访问和操作&#xff0c;如果编程处理不当&#xff0c;会产生脏读现象。 线程安全问题 我们先来看一个简单的线程…

rhce作业4

问题&#xff1a; 1.搭建dns服务器能够对自定义的正向或者反向域完成数据解析查询。 2.配置从DNS服务器&#xff0c;对主dns服务器进行数据备份。 配置&#xff1a; 主服务器配置 安装 关闭防火墙 主配置文件定义正反向解析域 正向解析资源记录文件 反向解析记录文件 重启…

FPGA设计中IP核的应用与定制开发!!!

在FPGA&#xff08;现场可编程门阵列&#xff09;设计中&#xff0c;IP核&#xff08;Intellectual Property Core&#xff09;是一种重要的设计组件。IP核可以是预先设计好的、可重用的硬件设计模块&#xff0c;它们可以加速开发过程&#xff0c;提高设计效率&#xff0c;并确…

在数据抓取的时候,短效IP比长效IP有哪些优势?

在数据抓取领域&#xff0c;代理IP的选择对于任务的成功率和效率至关重要。短效IP和长效IP各有其特点和适用场景&#xff0c;但在数据抓取过程中&#xff0c;短效IP因其独特的优势而受到青睐。本文将和大家一起探讨短效IP在数据抓取中相比长效IP的优势。 短效IP的定义与特点 …

B2C分销管理系统(源码+文档+部署+讲解)

本文将深入解析“B2C分销管理系统”的项目&#xff0c;探究其架构、功能以及技术栈&#xff0c;并分享获取完整源码的途径。 系统概述 "B2C分销管理系统"是一款集产品管理、客户服务、运营监控和财务管理于一体的综合性分销管理平台。系统功能全面覆盖套餐管理、SI…

【前端基础】CSS基础

目标&#xff1a;掌握 CSS 属性基本写法&#xff0c;能够使用文字相关属性美化文章页。 01-CSS初体验 层叠样式表 (Cascading Style Sheets&#xff0c;缩写为 CSS&#xff09;&#xff0c;是一种 样式表 语言&#xff0c;用来描述 HTML 文档的呈现&#xff08;美化内容&#…

Java什么是变量?变量有什么用?

什么是变量&#xff1f;变量有什么用&#xff1f; 编程的本质就是对内存中的数据的访问和修改。程序所用的数据都会保存在内存中&#xff0c;程序员需要一种机制来访问或修改内存中的数据。这种机制就是变量&#xff0c;每个变量都代表了某一小块内存&#xff0c;而且变量是有…

CertiK发现三星区块链密钥库的高风险漏洞,第3次获得致谢

2024年11月5日&#xff0c;CertiK因发现三星手机区块链密钥库&#xff08;Blockchain Keystore&#xff09;的一个高风险漏洞&#xff0c;第3次获得三星的认可与致谢。三星Keystore通过移动硬件安全技术&#xff0c;为私钥的存储与签名过程提供坚固的防护。该漏洞得到及时修复&…