TDC 5.0:多集群统一纳管,构建一体化大数据云平台

图片

近期,星环科技数据云平台Transwarp Data Cloud(简称TDC)5.0版本正式发布,TDC5.0架构屏蔽底层多个TDH集群的差异,采用统一操作模式,新增一个多集群抽象与管理层,能够实现多集群网络互通、跨集群资源调度。

TDC 是基于云原生技术的数据云平台,星环科技对它的调度、存储、网络全部进行了优化,使用星环科技自己的调度系统、本地存储系统、虚拟网络;操作系统上一层是多集群管理;第三层是数据云管理平台,实现了多租户、多用户,包括统一的应用生命周期管理;再上一层是星环科技提供的各类大数据产品目录,包括各种数据库、数据科技平台、开发平台,以及TKH企业级知识平台;图中左和右分别是面向企业数据应用的开发和数据应用的部署托管,做到了面向企业的数据以及数据应用在一个平台上提供,因此,TDC是企业级面向数据全生命周期管理的云原生PaaS平台。

图片

TDC 5.0 版本新增多集群抽象与管理层,可在一个控制台上对所有的集群应用做生命周期的管理、统一的运维、运营和配置。TDC5.0 在多个TDH集群之上实现了多租户的功能,能在多TDH集群上建立租户,把租户和集群进行解耦。举个例子,租户1可以使用集群1、2、3、4的资源,在线查询业务本身大部分运行在集群3上,在白天忙的时候,如果集群1有资源,可以把负载调度在集群1上进行部署。

TDC 5.0 版本满足用户四大需求

第一,集群能统一管理,实现多个集群统一管理,用户只需登录一个控制台就可以看到多个集群情况,应用的运行情况、版本情况,以实现多集群应用的统一管理等。

第二,资源能统一调度,能够跨多个集群复用资源,实现多个集群的资源更均衡地使用。

第三,数据能统一管理,实现跨集群的数据灵活共享,比如Nocopy的数据共享,保证数据的新鲜性。

第四,面向新业务上线时,可提供多租户方式,快速地启动一个虚拟集群部署业务。

图片

举了个例子来说明,比如有TCOS1和TCOS2两个集群,要实现的第一个目标是在集群1负载比较重的时候,不管是存储资源还是计算资源不足都要扩容。此时,如果TCOS集群是一个新建的,甚至是一个异构的,比如满足新上的ARM集群,可以把存储资源TDDMS Tabletserver在这上面增加三个副本,HDFS可以把DataNode增加副本,对应的把Executor也在这个节点上部署起来,就好像为这个集群增加扩容一样,这样就实现了计算类的组件和存储类的组件都在资源富足的集群上进行跨集群的扩容,达到这个目的之后,TDC 能在跨集群对已有的组件进行扩容,提升集群整体使用率,也均衡了不同集群之间使用率的差别。

另外一种情况,我们希望资源的扩展是自动的,以适应不可预见的负载变化。例如,TDH集群2用于在线查询,而TDH集群3则服务于金融行业的客户案例,这些案例需要全天候24小时不间断的服务,并且对响应时间非常敏感。在白天,批处理集群的负载通常较低,而其他集群可能负载较高。在常规部署中,存储和计算资源是预设的固定数量。当某集群的负载增加时,如果其他集群的资源仍有剩余,我们可以通过设置弹性伸缩策略来优化资源分配。第一,我期望对计算执行引擎增加多少副本;第二,增加到哪个集群之上。

配置好策略后,我们可以采用两种策略来实现资源的自动扩展。第一种是基于时间的策略,例如,从早上8点开始,如果在线查询活动增多,我们可以为系统自动增加三个计算执行引擎。第二种是基于负载的策略,这会考虑整个服务器的计算引擎负载情况,包括任务队列的长度、排队情况、等待时间,以及CPU和内存的利用率。通过综合这些因素,系统可以决定是否需要增加计算资源。

根据这些策略,系统可能会在资源有空闲的集群上增加计算执行引擎。例如,如果Quark Server2和Quark Server3在特定时间点有可用资源,系统就会分别为它们增加一组计算执行引擎。这样,我们就实现了资源的弹性伸缩,能够根据实际需求动态调整计算能力。

举了个例子来说明,比如有TCOS1和TCOS2两个集群,当TCOS1集群负载过重时,需要扩容,则可以使用TCOS2集群的资源,通过增加TDDMS Tabletserver副本、HDFS DataNode和Executor来实现跨集群扩容,从而提升整体使用率,并平衡不同集群的使用。

另外一种情况,我们希望资源扩展能够自动进行,以适应不可预见的负载变化。比如,在线查询服务,需要全天候服务且对响应时间敏感,可以通过弹性伸缩策略,在其他集群资源有剩余时,自动调整资源分配。

我们有两种策略来实现资源的自动扩展:基于时间的策略,在查询活动增多的时间段,如早上8点,自动增加计算执行引擎;基于负载的策略:根据服务器的计算引擎负载、任务队列、CPU和内存利用率等因素,决定是否增加计算资源。

TDC数据云平台,一方面可承载星环科技已有的大数据产品,现在已经扩展到了数据流通交易,包括数据应用的开发,另外可以托管企业已有的开源组件。截至目前,星环科技数据云平台 TDC 已经在数十家大型企业落地,覆盖金融、政府、交通、能源,运营商等多个行业。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/47747.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

使用 RocketMQ 实现消息的顺序消费

在分布式系统中,保持消息的顺序性是一个常见且重要的问题。RocketMQ 提供了一种有效的方式来确保消息的顺序消费。本文将通过代码示例,介绍如何使用 RocketMQ 实现消息的顺序生产和消费。 环境准备 在开始之前,请确保您已经配置好 RocketMQ…

QT纯代码实现滑动开关控件

开关按钮大家应该很熟悉,在设置里面经常遇到,切换时候的滑动效果比较帅气。通常说的开关按钮,有两个状态:on、off。大部分的开关按钮控件,基本上有两大类,第一类是纯代码绘制,这种对代码的掌控度…

dhtmlx-gantt甘特图数据展示

官网文档&#xff1a;甘特图文档 实现效果&#xff1a; 首先需要下载 dhtmlx-gantt组件 npm i dhtmlx-gantt //我项目中使用的是"dhtmlx-gantt": "^8.0.6" 这个版本&#xff0c;不同的版本api或是文档中存在的方法稍有差异 界面引用 <template>&l…

目标检测算法与应用算法 DS集成 接口相关_v0.1

目录 文章目录 目录0. 目标GPS信息、速度、加速度、航向角信息的输出1. 目标检测算法接口1.1 模型相关1.2 检测结果相关 2. 应用算法接口2.1 bool cross_line; //跨线&#xff08;变道压线检测&#xff09;2.2 bool break_in; //闯入&#xff08;目标闯入&#xff09;2.3 bool …

Linux HOOK机制与Netfilter HOOK

一. 什么是HOOK&#xff08;钩子&#xff09; 在计算机中&#xff0c;基本所有的软件程序都可以通过hook方式进行行为拦截&#xff0c;hook方式就是改变原始的执行流。 二. Linux常见的HOOK方式 1、修改函数指针。 2、用户态动态库拦截。 ①利用环境变量LD_PRELOAD和预装载机…

【Python】python中list的迭代

什么是迭代&#xff1a; 迭代其实就是遍历整个数据结构 nums [3,4,5] for n in nums:print(n)上述代码中&#xff0c;我们定义了一个nums列表&#xff0c;并且使用for循环对其进行遍历。其实整个过程就是迭代&#xff0c;所谓迭代&#xff0c;就是对数据集中每一个元素对其进…

STM32自己从零开始实操:PCB全过程

一、PCB总体分布 以下只能让大家看到各个模块大致分布在板子的哪一块&#xff0c;只能说每个人画都有自己的理由&#xff1a; 电源&#xff1a;从外部接入电源&#xff0c;5V接到中间&#xff0c;向上变成4V供给无线&#xff0c;向下变成3V供给下面的接口&#xff08;也刻意放…

无极与有极电容的区别

无极性电容与有极性电容&#xff1a;差异与应用探索 在电子元件的广阔世界里&#xff0c;电容器无疑是不可或缺的一部分。它们以储存电荷和调节电路中的电压与电流而闻名。然而&#xff0c;电容器并非一概而论&#xff0c;其中最为显著的区别之一就是无极性电容与有极性电容。…

Springboot中常见的注解及其底层实现?

Spring Boot 是一个用于简化 Spring 应用初始搭建以及开发过程的框架&#xff0c;它大量使用了注解来简化配置和提高开发效率。以下是一些常见的 Spring Boot 注解及其底层实现&#xff1a; ### 1. SpringBootApplication 这是一个复合注解&#xff0c;包含了 Configuration、…

DP讨论——访问者模式

学而时习之&#xff0c;温故而知新。 访问者模式 角色 3个角色&#xff0c;访问者类&#xff0c;被访问者类&#xff0c;管理被访问者类的类。 特色 所谓访问者模式&#xff0c;我感觉就是被访问的类的方法形参是别的对象引用&#xff0c;然后临时过来进入一下&#xff0c…

每日一练 - BGP 路由表中的团体属性

01 真题题目 下面一台路由器的输出信息&#xff0c;关于这段信息描述正确的是? A.目的网段 1.1.1.0/24 所携带的团体属性值是 NO-EXPORT&#xff0c; 表明该路由条目不能通告给任何 BGP 邻居 B.目的网段 1.1.1.0/24 所携带的图体属性值是 NO-EXPORT&#xff0c; 表明试路由…

Python面试整理-Python中的变量和赋值:理解变量的命名规则、赋值方式以及变量类型

在Python中,变量用于存储数据。以下是关于变量的命名规则、赋值方式和变量类型的详细说明: 变量的命名规则 1. 字母、数字和下划线: ● 变量名必须以字母(a-z,A-Z)或下划线(_)开头,后续字符可以是字母、数字(0-9)或下划线。 ● 例如:my_var, _var2, var3 2.

Three.JS 使用RGBELoader和CubeTextureLoader 添加环境贴图

导入RGBELoader模块&#xff1a; import { RGBELoader } from "three/examples/jsm/loaders/RGBELoader.js"; 使用 addRGBEMappingk(environment, background,url) {rgbeLoader new RGBELoader();rgbeLoader.loadAsync(url).then((texture) > {//贴图模式 经纬…

三个国产数据库调研(达梦,PolarDB,TDSQL

三个国产数据库调研&#xff1a;达梦&#xff0c;PolarDB&#xff0c;TDSQL 1. 整体描述2. 达梦数据库2.1 相关网站2.2 接入工作2.3 工具使用2.4 总结 3. PolarDB数据库3.1 相关网站3.2 产品对比3.3 接入工作 4. TDSQL数据库4.1 相关网站4.2 产品对比4.3 接入工作 5. 对比总结5…

git使用-命令行+VS Code结合使用

一、Git常用命令 // 显示当分支的状态。它会列出已修改、已暂存和未跟踪的文件 git status// 列出本地仓库中所有的分支&#xff0c;其中会特殊显示当前所在分支 git branch// 在当前分支的基础上创建一个新的分支&#xff0c;并切换到这个新的分支上 git checkout -b 新分支…

问题:向上对齐对象的快捷键是: #学习方法#笔记

问题&#xff1a;向上对齐对象的快捷键是: A、T B、L C、R D、W 参考答案如图所示

做一只勤劳的小蜜蜂

机缘 成为创作者的初心&#xff0c;对我而言&#xff0c;是一个融合了个人兴趣、职业成长以及对知识传播热爱的复杂而纯粹的情感交织。回顾这段旅程的起点&#xff0c;几个核心驱动力始终引领着我前行&#xff1a; 1、记录与反思&#xff1a;在职业生涯的早期&#xff0c;我遇…

WordPress与 wp-cron.php

WordPress 傲居全球最流行的内容管理系统&#xff08;CMS&#xff09;之位&#xff0c;占据了互联网约43%的网站后台&#xff0c;这主要得益于其直观易用的用户界面以及丰富的扩展功能&#xff0c;特别是为新手用户提供了极大的便利。 然而&#xff0c;在畅享WordPress带来的便…

Leetcode 1302.层数最深子叶结点的和

大家好&#xff0c;今天我给大家分享一下我关于这个题的想法&#xff0c;我这个题过程比较复杂&#xff0c;但大家如果觉得好的话&#xff0c;就请给个免费的赞吧&#xff0c;谢谢了^ _ ^ 1.题目要求: 给你一棵二叉树的根节点 root &#xff0c;请你返回 层数最深的叶子节点的…

Go语言并发编程-Context上下文

Context上下文 Context概述 Go 1.7 标准库引入 context&#xff0c;译作“上下文”&#xff0c;准确说它是 goroutine 的上下文&#xff0c;包含 goroutine 的运行状态、环境、现场等信息。 context 主要用来在 goroutine 之间传递上下文信息&#xff0c;包括&#xff1a;取…