数据仓库-集群管理

主要介绍操作类问题中的集群管理问题。

无法成功创建数据仓库集群时怎么处理?

请检查用户账户余额是否少于100元,是否已经没有配额创建新的数据仓库集群,以及是否存在网络问题。

如账户余额、配额、网络均未发现问题,请联系客户经理,请客户经理联系后台服务人员为您排查原因并解决问题。

如何清理与回收存储空间?

DWS 数据仓库中保存的数据在删除后,可能没有释放占用的磁盘空间形成脏数据,导致磁盘浪费、创建及恢复快照性能下降等问题,如何清理?

清理与回收存储空间对系统的影响如下:

  • 删除无用的脏数据,释放存储空间。
  • 数据库将进行大量读写操作,可能影响正常使用,建议选择空闲时间执行。
  • 数据库的存储空间越大,即数据可能越多,清理的时间越长。

清理与回收存储空间操作步骤如下:

1.连接数据库。具体操作步骤请参见《数据仓库服务用户指南》中“连接集群”章节。

2.执行以下命令,清理与回收存储空间。

VACUUM FULL;

默认清理当前用户在数据库中,拥有权限的每一个表。没有权限的表则直接跳过回收操作。

当系统显示以下内容时,表示清理完成:

VACUUM

  • VACUUM FULL回收所有过期的行空间,但是它需要对每个正在处理的表进行独占锁定,并且可能需要很长时间才能完成大型分布式数据库表。一般建议对指定表执行VACUUM FULL,若需要对整个数据库执行VACUUM FULL,建议在数据库维护期间操作。
  • 使用FULL参数会导致统计信息丢失,如果需要收集统计信息,请在语句命令中加上analyze关键字。例如,执行 VACUUM FULL ANALYZE; 命令。VACUUM的语法请参见《数据仓库服务数据库开发指南》中的相关章节。

为什么扩容后已使用存储容量比扩容前减少了很多?

原因分析

扩容前,如果您没有执行vacuum清理和回收存储空间,DWS 数据仓库中之前被删除的数据,可能没有释放占用的磁盘空间形成脏数据,导致磁盘浪费。

而在扩容时,系统会做一次重分布,集群扩容时新节点添加完成后,原节点存储的业务数据明显多于新节点,此时系统自动在所有节点重新分布保存数据。在开始做重分布时,系统会自动执行一次vacuum,从而释放了存储空间,因此,扩容后已使用存储容量减少了很多。

处理方法

建议您定期做vacuum full清理与回收存储空间,防止数据膨胀。

如果执行vacuum后,已使用存储容量仍然占用过高,请分析现有集群规格是否满足业务需求,若不满足,建议您对集群进行扩容。

如何查看DWS各节点的指标?例如CPU使用率、内存使用率、磁盘利用率、磁盘使用量等?

集群已使用容量指标,可通过云监控管理控制台查看。查看方法:

1.登录DWS管理控制台,单击集群列表中某个集群右侧的“查看监控指标”进入云监控管理控制台。

2.单击

向左箭头.png

返回云服务监控界面,默认显示“数据仓库节点”,再单击对应节点右侧的“查看监控指标”,可查看某个节点的“磁盘使用量”。

DWS的磁盘空间/容量是如何统计的?

1.DWS的磁盘总容量统计:以3个数据节点为例,假设每个节点320G,总容量为960G。当存入一个1G的数据,DWS因为副本机制会将这1G的数据在两个节点中都各存一份,共占2G的空间,如果再加上元数据、索引等,实际1G的数据,存入DWS后占用的空间不止2G。所以总容量为960G的3节点集群,总量能存480G的数据。因为存储硬盘本身不贵,客户数据才珍贵。

客户在云的DWS控制台上搭建的时候,页面已经是按照一个节点的真正容量空间来统计的。比如dws.m3.xlarge,在搭建页面是160G,但实际这个节点的磁盘是有320G的,已经将这个320G显示为160G了,便于客户按实际落盘数据进行搭建。

2.单个节点磁盘的使用情况的确认:

同样的,以总容量为960G,3个数据节点为例,那么每个节点的磁盘容量就是320G。

登录DWS控制台,选择“监控>节点监控>概览”显示每个节点的磁盘以及其他资源占用情况。

说明

l  节点管理看到的磁盘空间是DWS集群内所有的磁盘即系统盘、数据盘加到一起的容量,而在概览里看到的磁盘空间只是集群内能做表数据存储的可用空间,另外DWS集群中表是有备份的副本数的,表的备份数据也是需要占用磁盘存储的。

l  如果已确定由于磁盘空间不足导致集群状态只读,告警磁盘不可用的异常场景时,可参考“扩容集群”章节进行节点扩容处理。

增加CN和扩容集群分别在什么场景下使用?

CN并发介绍

CN全称协调节点(Coordinator Node)。是和用户关系最密切也是DWS内部非常重要的一个组件,它负责提供外部应用接口、优化全局执行计划、向Datanode分发执行计划,以及汇总、处理执行结果。CN是外部应用的接口,CN的并发能力直接决定了业务的并发度。

单CN的并发能力受如下几个参数控制:

  • max_connections : 允许和数据库连接的最大并发连接数。此参数会影响集群的并发能力。默认值与集群规格有关,具体参见 “管理数据库连接”章节。
  • max_active_statements :设置全局的最大并发数量。此参数只应用到CN,且针对一个CN上的执行作业。默认值60,最多允许60个作业同时运行,其余作业将会排队。

选择增加CN还是扩容集群

  • 连接数不足:初次创建集群时,集群默认的CN节点数是3,能基本满足客户的连接需求。当集群属于高并发请求,各CN节点的连接数很大,或CN节点的CPU明显高于DN节点的CPU时,建议增加CN节点数量,具体参见“管理CN节点”章节。
  • 存储容量和性能不足:随着您的业务规模扩张,对数据存储容量和性能有更高的要求时,或者集群整体CPU不足时,建议通过扩容集群进行集群节点的扩容。详情请参见 “扩容集群”章节。

随着业务规模扩大,集群扩容到一定节点规模后,也必然需要增加相应的CN节点,满足DWS的分布式要求。简言之,增加CN,不一定需要扩容集群,但是扩容集群后,会伴随着增加CN节点的需求。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/889448.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

avue-crud 同时使用 column 与 group 的问题

场景一:在使用option 中的column 和 group 进行表单数据新增操作时,进行里面的控件操作时,点击后卡死问题,文本没问题 其它比如下拉,单选框操作,当删除 column 中的字段后, group 中的可以操作 …

期魔方风控模型之委托失败补单程序

你知道吗?只需简单设置,期魔方风控模型就能自动处理风控委托失败的订单,进行补单操作。 那么,这种功能适用于哪些场景呢?让我们一起来探讨一下! 在实际交易中,我们有时会遇到在任意交易终端&a…

php.ini 文件上传/执行时间/部分配置新手教程

1、上传文件大小配置 一般需要同时配置“upload_max_filesize”、“post_max_size”,配置格式如下: file_uploads On ;是否允许HTTP文件上传 upload_max_filesize 2M ;设置单个文件上传的最大尺寸 post_max_size 8M ;设置 POST 请求体的最大尺寸&am…

ubuntu系统的docker安装(2)

查看系统版本 lsb_release -asudo systemctl status docker查看docker是否安装成功 docker pull拉取镜像不成功/docker run不成功 可能有多种原因:网络链接不稳定,没有重启docker,可以先将docker源设置为国内镜像源 sudo systemctl rest…

Source Insight的使用经验汇总

01-Add All"和“Add Tree”有何区别? 在 Source Insight 中,“Add All”和“Add Tree”是两种向项目(Project)中添加文件的操作选项,它们的区别在于处理文件和目录的方式不同: 1. Add All 范围&am…

数据库表的CRUD

SQL语句(Structured Query Language)是用于与关系型数据库进行交互的语言。下面是几个常用的SQL语句: 创建表: CREATE TABLE table_name ( column1 datatype, column2 datatype, column3 datatype, ... ); 插入数据: …

解析博客项目基础需求(一)

个人技术博客项目需求分析 1. 功能需求 1.1 基础功能 博客文章展示文章分类管理文章标签系统文章归档功能文章搜索功能评论系统响应式设计 1.2 扩展功能 文章阅读量统计文章点赞功能个人介绍页面项目展示页面友情链接暗黑模式切换 2. 技术栈选择 2.1 前端技术 Vue 3 (框…

图片增加模糊

为了实现一个既能等比放大缩小图片又能按照不同数值模糊图片的算法,我们可以利用Python结合OpenCV库来完成。下面将详细描述如何构建这样一个算法,并提供完整的代码示例。 算法步骤 导入必要的库:首先需要导入cv2(OpenCV&#x…

【速览】设计模式(更新中)

目录 模式的历史设计模式是什么设计原则 SOLID1. 单一职责原则(Single Responsibility Principle, SRP)2. 开闭原则(Open/Closed Principle, OCP)3. 里氏替换原则(Liskov Substitution Principle, LSP)4. 接…

MVC基础——市场管理系统(四)

文章目录 项目地址六、EF CORE6.1 配置ef core环境6.2 code first6.2.1 创建Database context1. 添加navigation property2. 添加MarketContext上下文七、Authentication7.1 添加Identity7.2 Run DB migration for Identity7.3 使用Identity7.3.1 设置认证中间件7.3.2 设置权限…

前端编辑器JSON HTML等,vue2-ace-editor,vue3-ace-editor

与框架无关 vue2-ace-editor有问题&#xff0c;ace拿不到&#xff08;brace&#xff09; 一些组件都是基于ace-builds或者brace包装的 不如直接用下面的&#xff0c;不如直接使用下面的 <template><div ref"editor" class"json-editor"><…

算法训练营day1 | 704二分查找,27移除元素, 34, 35

已经找到工作&#xff0c;但希望再试试春招&#xff0c;距离春招还剩两个月&#xff0c;加油。 这两道题都刷过很多遍了&#xff0c;没什么好说的直接过。 704 本以为刷了很多次没想到还是做错了&#xff0c;有些小细节要注意。 这里是迭代式的&#xff0c;函数式的也不难。 …

vue常用命令汇总

nvm 一个nodejs版本管理工具&#xff0c;解决node.js各种版本存在不兼容现象可以通过它可以安装和切换不同版本的node.js。 npm 可以管理 nodejs 的第三方插件。 vue-cli 是Vue提供的一个官方cli,专门为单页面应用快速搭建繁杂的脚手架。 nginx 是一个高性能的HTTP和反向代理we…

XSS(跨站攻击)

XSS漏洞&#xff08;跨站脚本&#xff09; 1.XSS 漏洞简介 ​ XSS又叫CSS&#xff08;Cross Site Script&#xff09;跨站脚本攻击是指恶意攻击者往Web页面里插入恶意Script代码&#xff0c;当用户浏览该页之时&#xff0c;嵌入其中Web里面的Script代码会被执行&#xff0c;从…

UniApp配置使用原子化tailwindcss

参考视频 创建项目 新建项目选择uniapp - vue版本这里我选择3 - 点击创建即可 创建完成后&#xff0c;如果是要编译到小程序的项目则可以先将项目运行到小程序打开了 初始化package.json 执行 npm init -y安装和配置 安装 npm i -D tailwindcss postcss autoprefixer # 安…

Oracle 与 达梦 数据库 对比

当尝试安装了达梦数据库后&#xff0c;发现达梦真的和Oracle数据库太像了&#xff0c;甚至很多语法都相同。 比如&#xff1a;Oracle登录数据库采用sqlplus&#xff0c;达梦采用disql。 比如查看数据视图&#xff1a;达梦和Oracle都有 v$instance、v$database、dba_users等&a…

【docker】12. Docker Volume(存储卷)

什么是存储卷? 存储卷就是将宿主机的本地文件系统中存在的某个目录直接与容器内部的文件系统上的某一目录建立绑定关系。这就意味着&#xff0c;当我们在容器中的这个目录下写入数据时&#xff0c;容器会将其内容直接写入到宿主机上与此容器建立了绑定关系的目录。 在宿主机上…

汽车总线协议分析-CAN总线

随着汽车工业的发展&#xff0c;汽车各系统的控制逐步向自动化和智能化转变&#xff0c;汽车电气系统变得日益复杂。许多车辆设计使用CAN、CAN-FD、LIN、FlexRay或SENT在电子控制单元(ECU)之间以及ECU与传感器&#xff0c;执行器和显示器之间进行通信。这些ECU之间的通信允许车…

前端性能优化(理念篇)

前端性能优化&#xff08;理念篇&#xff09; 前言 其实前端性能优化&#xff0c;按照我的理解&#xff0c;首先你公司的硬件条件跟其它资源跟的上&#xff0c;比如服务器资源&#xff0c;宽带怎么样&#xff0c;还有后端接口响应如何&#xff0c;这些资源都具备后&#xff0…

IIS部署程序https是访问出现403或ERR_HTTP2_PROTOCOL_ERROR

一、说明 在windows server 2016中的IIS程序池里部署一套系统&#xff0c;通过https访问站点&#xff0c;同时考虑到安全问题以及防攻击等行为&#xff0c;就用上了WAF云盾功能&#xff0c;能有效的抵挡部分攻击&#xff0c;加强网站的安全性和健壮性。 应用系统一直能够正常…