1.Hadoop的三大结构及各自的作用:
Hadoop是一个开源的分布式计算框架,它主要包括三大核心组件:HDFS(Hadoop Distributed File System)、YARN(Yet Another Resource Negotiator)和MapReduce。以下是这三大结构及其各自的作用:
1. HDFS(Hadoop Distributed File System)
作用:
-
高可靠性和容错性
-
大规模数据存储
-
高吞吐量的数据访问
2. YARN(Yet Another Resource Negotiator)
作用:
-
资源管理
-
作业调度
-
多框架支持。
3. MapReduce
作用:
-
分布式计算框架算效率。
-
数据处理
-
易于编程
(1)yarn
定义:是一个通用资源管理系统和调度平台,可为上层应用提供统一的资源管理和调度
3.yarn的三大组件及各自作用
yarn的架构:
RM:集群中的重要角色,决定系统中的所有应用程序之间资源的分配权限
NM:负责管理机器上的计算资源
AM:用户提交的每个应用程序都包含一个AM。
YARN(Yet Another Resource Negotiator)的三大核心组件是 ResourceManager、NodeManager 和 ApplicationMaster,以下是它们的各自作用:
1. ResourceManager(资源管理器)
-
资源调度
-
应用程序管理
-
监控 NodeManager
2. NodeManager(节点管理器)
-
节点资源管理
-
Container 生命周期管理
-
任务执行
3. ApplicationMaster(应用程序管理器)
-
资源申请
-
任务调度与管理
-
状态汇报