目录
单机、分布式、集群简介
单机模式
分布式模式
集群模式
负载均衡解释
集群架构
集群环境搭建
修改主机名和IP
主机名和IP映射配置
关闭防火墙服务
集群机器之间实现免密登录
集群时间同步
单机、分布式、集群简介
单机模式
所有业务都集成在一台服务器上面。
分布式模式
多台不同的服务器中部署不同的服务模块，通过远程调用协同工作，对外提供服务。
（多台服务器集中在一起，每台服务器都实现总体中的不同业务。）
集群模式
多台不同的服务器中部署相同应用或服务模块，构成集群，通过负载均衡设备对外提供服务
（将分布式模式分出的单个业务又由多台服务器来做，多台服务器在一起做同样的事。）
负载均衡解释
将网络流量或计算任务合理地分配到多个服务器、进程或 资源上，以避免单一节点过载。解决集群模式的服务器分配问题，让用户的请求合理分配到不同服务器上。
集群架构
主从架构
主角色：master、leader
从角色：slave、follwer
主从角色各司其职，需要共同配合对外供应服务，常见一主多从
主备架构
主角色：active
备角色：standby
首要解决单点故障问题，保证业务的持续可用性，常见一主一备，也可一主多备
集群环境搭建
修改主机名和IP
为什么要这么做？
确保集群网络的稳定性和可管理性
注意：集群中的虚拟机都要设置，网关一致，DNS一致，静态IP网段必须一致但最后一段数字必须不一致。
ok，开始修改↓↓↓
修改主机名（命令修改只能临时生效，重启无效，需修改配置文件重启可永久生效）
sudo vim /etc/hostname
这里我的主机名分别为node1和node2
修改成静态IP
①进入到文件中
cd /etc/netplan/ （ubantu18以上）
sudo vim 01-network-manager-all.yaml
②修改成以下内容（严格缩进）
network:version: 2renderer: networkd # 或者使用 NetworkManager，图形界面下推荐使用 NetworkManagerethernets:ens33: # 你的网卡名称，根据实际情况修改dhcp4: no # 关闭 IPv4 动态分配，设置为静态addresses: [192.168.88.100/24] # 你想要设置的静态 IP 地址和子网掩码，/24 表示子网掩码为 255.255.255.0，IP 地址要确保和局域网内其他设备不冲突gateway4: 192.168.88.2 # 网关地址，根据实际情况修改nameservers:addresses: [8.8.8.8, 114.114.114.114] # DNS 服务器地址，可使用公共 DNS，也可以使用你所在网络提供的 DNS③使配置生效并检查
sudo netplan apply #让配置生效
查看网卡名称和ip地址（一个静态ip，一个动态ip）：ip addr
查看网关地址：ip route
测试外部网络 DNS 解析和连通性：
ping www.baidu.com
④结束集群中所有虚拟机的修改后，测试节点间的连通性
测试节点间通信：执行
ping 192.168.88.100（我的node2 的 IP）
主机名和IP映射配置
为什么要这么做？
集群节点间能依据主机名通信
没配置也能通过主机名通信？
手动配置
/etc/hosts文件是一种通用且标准的做法，不受网络环境变化、虚拟机软件变动等因素影响。不管是在校园网、公司内网，还是其他网络环境下，只要在每台虚拟机的/etc/hosts文件中正确添加所有节点的主机名与 IP 映射，就能确保集群内节点始终可以通过主机名进行稳定通信。所以从稳定性和兼容性考虑，建议手动配置。
ok，开始配置↓↓↓
①进入记录中
sudo vim /etc/hosts
②添加主机名与 IP 映射（同样，集群中的虚拟机都得配置）
192.168.88.100 node2
192.168.88.101 node1
（通常添加在资料末尾）
③验证
ping node2 #ping 主机名
#④如果在Windows上做开发，也得修改hosts资料
目录C:\Windows\System32\drivers\etc下的hosts文件，添加主机名与IP映射（第②步）
（通常放在所有安装的最前面）
关闭防火墙服务
为什么要这么做？
关闭ufw：大数据集群（如 Hadoop、Spark）的节点间需要通过大量端口进行通信，而防火墙会默认拦截集群内节点间的端口通信，使通信受阻。
（为了方便使用者快速搭建环境，避免因为防火墙拦截导致的网络通信问题，很多学习用途的镜像都会预先关闭防火墙，学习者不需要再操作。）
关闭SElinux：SELinux 默认的安全策略可能会限制这些管理，导致组件无法正常访问所需的资源，进而使集群启动失败或者功能异常
（不安装 SELinux 的，一般不需要专门去关闭它就是Ubantu系统 默认）
ok，开始关闭↓↓↓
①查看防火墙状态
sudo ufw status # ufw是ubantu常用防火墙工具
②彻底禁用防火墙服务（防止重启后自动开启）
#临时关闭（立即生效，重启后恢复），但我们暂时需要彻底关闭
sudo ufw disable
# 停止防火墙服务
sudo systemctl stop ufw
# 禁止开机自启
sudo systemctl disable ufw
集群机器之间实现免密登录
原理
操作（主机自己和自己也需要打通免密登录）
ssh 主机名
#yes
了解跳板机（堡垒机）：作用是提高安全性
跨机远程拷贝文件
# 本地文件 拷贝到 远程机器
scp [本地文件路径] [远程用户]@[远程IP或主机名]:[远程目标路径]# 远程资料 拷贝到 本地
scp [远程用户]@[远程IP或主机名]:[远程文件路径] [本地目标路径]例：scp -r /home/hadoop/data hadoop@node2:/home/hadoop/ # 拷贝整个 data 目录
集群时间同步
为什么要这么做？
在大数据集群中，时间同步非常重点，因为很多组件的日志记录、任务调度等功能都依赖准确一致的时间。如果集群中各节点时间不一致，可能会导致数据不一致、任务调度失败等困难。
常用的时间同步工具是ntp（Network Time Protocol，网络时间协议）
ok，开始配置↓↓↓
①安装ntp服务
sudo apt-get update
sudo apt-get install ntp
②配置ntp服务器
#打开
ntp的配置文件/etc/ntp.conf
sudo vim /etc/ntpsec/ntp.conf
#在文件中添加或修改server行，指定要同步的时间服务器，例如使用阿里云的公共 NTP 服务器server ntp.aliyun.com iburst
③重启ntp服务
sudo systemctl restart ntp
④验证时间同步
#可以使用
ntpq -p命令查看 ntp 服务器的连接状态和同步情况ntpq -p
