Kubernetes etcd 故障恢复(1)

1.查看集群状态  获取主节点和故障节点id

ETCDCTL_API=3 ./etcdctl --cacert=/etc/kubernetes/ssl/new-ca.pem --cert=/etc/kubernetes/ssl/etcd.pem --key=/etc/kubernetes/ssl/etcd-key.pem --endpoints="https://192.168.7.132:2379,https://192.168.7.134:2379,https://192.168.7.135:2379" endpoint status cluster-health --write-out=table
ETCDCTL_API=3 ./etcdctl --cacert=/etc/kubernetes/ssl/new-ca.pem --cert=/etc/kubernetes/ssl/etcd.pem --key=/etc/kubernetes/ssl/etcd-key.pem --endpoints="https://192.168.7.132:2379,https://192.168.7.134:2379,https://192.168.7.135:2379" endpoint status cluster-health --write-out=table

 查看故障节点

ETCDCTL_API=3 ./etcdctl --cacert=/etc/kubernetes/ssl/new-ca.pem --cert=/etc/kubernetes/ssl/etcd.pem --key=/etc/kubernetes/ssl/etcd-key.pem --endpoints="https://192.168.7.132:2379,https://192.168.7.134:2379,https://192.168.7.135:2379" endpointhealth --write-out=table
ETCDCTL_API=3 ./etcdctl --cacert=/etc/kubernetes/ssl/new-ca.pem --cert=/etc/kubernetes/ssl/etcd.pem --key=/etc/kubernetes/ssl/etcd-key.pem --endpoints="https://192.168.7.132:2379,https://192.168.7.134:2379,https://192.168.7.135:2379" endpointhealth --write-out=table

2.剔除故障节点 

ETCDCTL_API=3 etcdctl --endpoints="https://172.16.169.82:2379" --cacert=/etc/etcd/ssl/ca.pem --cert=/etc/etcd/ssl/etcd.pem --key=/etc/etcd/ssl/etcd-key.pem member remove 971a0fee3d275c5
ETCDCTL_API=3 etcdctl --endpoints="https://172.16.169.82:2379" --cacert=/etc/etcd/ssl/ca.pem --cert=/etc/etcd/ssl/etcd.pem --key=/etc/etcd/ssl/etcd-key.pem member remove 971a0fee3d275c5

验证是否剔除成功

ETCDCTL_API=3 ./etcdctl --cacert=/etc/kubernetes/ssl/new-ca.pem --cert=/etc/kubernetes/ssl/etcd.pem --key=/etc/kubernetes/ssl/etcd-key.pem --endpoints="https://192.168.7.132:2379,https://192.168.7.134:2379,https://192.168.7.135:2379" member list --write-out=table
ETCDCTL_API=3 ./etcdctl --cacert=/etc/kubernetes/ssl/new-ca.pem --cert=/etc/kubernetes/ssl/etcd.pem --key=/etc/kubernetes/ssl/etcd-key.pem --endpoints="https://192.168.7.132:2379,https://192.168.7.134:2379,https://192.168.7.135:2379" member list --write-out=table

3.重新添加故障节点


3.1 检查旧etcd数据并清空 
rm -rf etcd3.etcd/

3.2 修改要加入集群etcd3的启动参数

vi /etc/etcd/etcd.conf并保存
将etcd的--initial-cluster-state启动参数，改为--initial-cluster-state=existing

3.3 从etcd-master拷贝证书

scp -rp etcd1:/etc/etcd/ssl/  /etc/etcd/

拷贝后检查etcd证书所属用户

3.4 重新添加故障节点etcd3
注意：etcd3为etcd.conf中ETCD_NAME

ETCDCTL_API=3 etcdctl --endpoints="https://172.16.169.82:2379" --cacert=/etc/etcd/ssl/ca.pem --cert=/etc/etcd/ssl/etcd.pem --key=/etc/etcd/ssl/etcd-key.pem  member add etcd3 --peer-urls=https://172.16.169.83:2380

3.5 重启服务验证成功

systemctl daemon-reload
systemctl restart etcd

 
二. 备份恢复方式重做集群

备注：此方式有可能导致数据丢失，亲身经历，尽量使用第一种方式。

备份ETCD集群时，只需要备份一个ETCD数据，然后同步到其他节点上
恢复ETCD数据时，每个节点都要执行恢复命令
恢复顺序：停止kube-apiserver –> 停止ETCD –> 恢复数据 –> 启动ETCD –> 启动kube-apiserve

etcd资源文件在/var/lib/etcd下，有两个文件夹

  • snap：存放快照数，etcd防止WAL文件过多而设置的快照，存储etcd数据状态
  • wal：存放预写式日志,最大的作用是记录了整个数据变化的全部历程。在etcd中，所有数据的修改在提交前，都要先写入到WAL中

1、查看健康节点

ETCDCTL_API=3 /opt/etcd/bin/etcdctl --cacert=/opt/etcd/ssl/etcd-ca.pem --cert=/opt/etcd/ssl/server.pem --key=/opt/etcd/ssl/server-key.pem --endpoints="https://192.168.15.215:2379,https://192.168.15.216:2379,https://192.168.15.217:2379" endpoint health --write-out=table

2、在健康节点上备份etcd数据

ETCDCTL_API=3 etcdctl snapshot save  backup.db \
--cacert=/opt/etcd/ssl/etcd-ca.pem \
--cert=/opt/etcd/ssl/server.pem \
--key=/opt/etcd/ssl/server-key.pem \
--endpoints="https://192.168.15.215:2379"

3、将备份后的文件复制到其他etcd节点下

for i in {etcd2,etcd3};do scp backup.db root@i:/root ;done

4、恢复etcd数据
恢复之前需要先关闭apiserver和etcd，删除etcd数据文件

systemctl stop kube-apiserver  #停止apiserver
systemctl stop etcd            #停止etcd
rm -rf opt/etcd/data/*         #删除数据目录文件,根据实际情况

在节点1执行恢复命令，如下：

ETCDCTL_API=3 etcdctl snapshot restore backup.db \
--name etcd-1 \
--initial-cluster="etcd-1=https://192.168.15.215:2380,etcd-2=https://192.168.15.216:2380,etcd-3=https://192.168.15.217:2380" \
--initial-cluster-token=etcd-cluster \
--initial-advertise-peer-urls=https://192.168.15.215:2380 \
--data-dir=/opt/etcd/data

在节点2执行恢复命令，如下：

ETCDCTL_API=3 etcdctl snapshot restore backup.db \
--name etcd-2 \
--initial-cluster="etcd-1=https://192.168.15.215:2380,etcd-2=https://192.168.15.216:2380,etcd-3=https://192.168.15.217:2380" \
--initial-cluster-token=etcd-cluster \
--initial-advertise-peer-urls=https://192.168.15.216:2380 \
--data-dir=/opt/etcd/data

在节点3执行恢复命令，如下：

ETCDCTL_API=3 etcdctl snapshot restore backup.db \
--name etcd-3 \
--initial-cluster="etcd-1=https://192.168.15.215:2380,etcd-2=https://192.168.15.216:2380,etcd-3=https://192.168.15.217:2380" \
--initial-cluster-token=etcd-cluster \
--initial-advertise-peer-urls=https://192.168.15.217:2380 \
--data-dir=/opt/etcd/data

恢复完成后，重启kube-apiserver和etcd，如下：

systemctl start kube-apiserver
systemctl start etcd

5、查看集群状

ETCDCTL_API=3 /opt/etcd/bin/etcdctl --cacert=/opt/etcd/ssl/etcd-ca.pem --cert=/opt/etcd/ssl/server.pem --key=/opt/etcd/ssl/server-key.pem --endpoi

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/pingmian/80570.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

在UI原型设计中，低、高保真原型图有什么区别？

在UI原型设计中，低、高保真原型图有什么区别？

在数字产品开发中，原型（Prototype） 是连接创意与落地的桥梁。它通过可视化的方式验证功能、交互与用户体验，避免开发资源浪费。而低保真（Lo-Fi）与高保真（Hi-Fi）原型，则是…
阅读更多...
使用FastAPI和React以及MongoDB构建全栈Web应用02 前言

使用FastAPI和React以及MongoDB构建全栈Web应用02 前言

Who this book is for 本书适合哪些人阅读 This book is designed for web developers who aspire to build robust, scalable, and efficient web applications. It caters to a broad spectrum of developers, from those with foundational knowledge to experienced prof…
阅读更多...
linux下minio的进程管理脚本

linux下minio的进程管理脚本

准备工作： 参考链接： Deploy MinIO: Single-Node Single-Drive — MinIO Object Storage for Linux 下载： wget https://dl.min.io/server/minio/release/linux-amd64/minio kill-app.sh #!/bin/bash # 文件名： kill-app.sh…
阅读更多...
【Linux】编译安装 opencv 并链接到 VSCode

【Linux】编译安装 opencv 并链接到 VSCode

一、背景 最近打算把现有的一个 python 程序用 c 重写，进一步提升性能。编辑器使用 VSCode，三方库需要用到 opencv，要进行编译安装。 二、编译安装 opencv 1. 更新源 sudo apt update && sudo apt upgrade 2. 安装依赖库 安装编…
阅读更多...
Ubuntu 安装 HAProxy

Ubuntu 安装 HAProxy

HAProxy 是什么 HAProxy（High Availability Proxy） 是一个 高性能、高可用的 TCP 和 HTTP 负载均衡器与代理服务器。 HAProxy 的特点 特性说明支持协议HTTP、HTTPS、TCP高性能使用 C 语言编写，性能极高高可用与 Keepalived 配合可实现主备健…
阅读更多...
Mysql--基础知识点--91.2--processlist

Mysql--基础知识点--91.2--processlist

在 MySQL 中，SHOW PROCESSLIST 是一个常用命令，用于查看当前数据库服务器上所有正在运行的线程（进程）信息。以下是关键点说明： 1. 命令用法 SHOW FULL PROCESSLIST;输出字段： 列名含义Id线程唯一标识符&am…
阅读更多...
Git标签删除脚本解析与实践：轻松管理本地与远程标签

Git标签删除脚本解析与实践：轻松管理本地与远程标签

Git 标签删除脚本解析与实践：轻松管理本地与远程标签 在 Git 版本控制系统中，标签常用于标记重要的版本节点，方便追溯和管理项目的不同阶段。随着项目的推进，一些旧标签可能不再需要，此时就需要对它们进行清理。本文将通过一个完整的脚本，详细介绍如何删除本地和远程的 …
阅读更多...
K8S - Harbor 镜像仓库部署与 GitLab CI 集成实战

K8S - Harbor 镜像仓库部署与 GitLab CI 集成实战

引言 在 Kubernetes 环境中，容器镜像的存储与管理至关重要。企业级镜像仓库（如 Harbor）为团队提供了安全、稳定、可扩展的镜像管理解决方案。 一、Harbor 安装与配置 Harbor 是由 VMware 开源的企业级云原生镜像仓库，它不仅支持…
阅读更多...
2025年best好用的3dsmax插件和脚本

2025年best好用的3dsmax插件和脚本

copitor 可以从一个3dsmax场景里将物体直接复制到另一个场景中 Move to surface 这个插件可以将一些物体放到一个平面上 instancer 实体器，举例：场景中有若干独立的光源，不是实体对象，我们可以使用instancer将他变成实体。 paste …
阅读更多...
Python爬虫实战：研究nodejs aes加密

Python爬虫实战：研究nodejs aes加密

1. 引言 1.1 研究背景与意义 在当今数字化时代，Web 数据的价值日益凸显。通过爬虫技术获取公开数据并进行分析，能够为企业决策、学术研究等提供有力支持。然而，为了保护数据安全和隐私，许多网站采用了加密技术对数据进行保护，其中 AES 加密是一种常见且安全的加密算法。…
阅读更多...
LGDRL：基于大型语言模型的深度强化学习在自动驾驶决策中的应用

LGDRL：基于大型语言模型的深度强化学习在自动驾驶决策中的应用

《Large Language Model guided Deep Reinforcement Learning for Decision Making in Autonomous Driving》2024年12月发表，来自北理工的论文。 深度强化学习（DRL）在自动驾驶决策方面显示出巨大的潜力。然而，由于DRL的学习效率低…
阅读更多...
TDEngine 与 Grafana

TDEngine 与 Grafana

目录 实践目录 Grafana 参考文档 实践目录 10.60.100.194：/home/dualven/tdengine Grafana systemctl status grafana-server http://10.60.100.194:3000/ 这个端口与mydoor的new server服务冲突 （同时只开一个） 参考文档 运行监…
阅读更多...
Edge浏览器打开PDF文件显示空白（每次需要等上一会）

Edge浏览器打开PDF文件显示空白（每次需要等上一会）

概述 部分pdf文件用edge浏览器打开显示空白，需要等一会才能显示出来，这很让人难以接受，用其他浏览器和pdf阅读器打开是正常的，该怎么操作解决，卸载重装，修复，重置浏览器等都无效。 解决办法 可…
阅读更多...
uniapp小程序轮播图高度自适应优化详解

uniapp小程序轮播图高度自适应优化详解

在微信小程序开发过程中，轮播图组件(swiper)是常用的UI元素，但在实际应用中经常遇到高度不匹配导致的空白问题。本文详细记录了一次轮播图高度优化的完整过程，特别是针对固定宽高比图片的精确适配方案。 问题背景 在开发"零工市场&quo…
阅读更多...
Android第三次面试总结之网络篇补充

Android第三次面试总结之网络篇补充

一、网络模型：OSI 七层 vs TCP/IP 四层（必考点） 1. 分层模型对比 OSI 七层模型TCP/IP 四层模型核心功能Android 相关场景应用层（7 层）应用层定义数据格式（HTTP/HTTPS/FTP/API）OkHttp/Retrofit…
阅读更多...
postgresql主从集群一键搭建脚本分享

postgresql主从集群一键搭建脚本分享

脚本1： cat pg_ms_install.sh #!/bin/bash # 基础环境配置（保持不变） setenforce 0 >/dev/null 2>&1 || true sed -i "s/SELINUXenforcing/SELINUXdisabled/" /etc/selinux/config systemctl stop firewalld >/dev/n…
阅读更多...
LWIP的ICMP协议

LWIP的ICMP协议

ICMP协议简介 ICMP协议是一个网络层协议 背景：如果丢包了，IP协议并不能通知传输层是否丢包以及丢包的原因。因此我们需要ICMP协议来完成这样的功能 为什么需要ICMP协议 1，IP 协议本身不提供差错报告和差错控制机制来保证数据报递交的有效…
阅读更多...
具身智能机器人开源陪跑计划（机器人实战落地）

具身智能机器人开源陪跑计划（机器人实战落地）

Who：我们是谁？ 主理人背景 华南理工大学硕士毕业，10年机器人研发经验，5年“互联网机器人”创业经历 累计牵头落地的机器人30多款，累计授权专利80余项，累计论文发表10余篇。 技术履历 C#、Sql server、SPSS…
阅读更多...
Dify 配置网络爬虫为知识库数据来源 （以Jina Reader为例） - 随笔

Dify 配置网络爬虫为知识库数据来源 （以Jina Reader为例） - 随笔

API获取 进入官网获取免费的API密钥 官网链接&#xff1a;https://jina.ai/reader/ 点击“<> API”按钮 点击复制文本框中的API Key&#xff1a; 进入Dify的知识库页面 → 选择“同步自Web站点” → 选择“Jina Reader” → 点击“配置”按钮 选择数据来源为Jina …
阅读更多...
基于网络爬虫+Spark+Hadoop等大数据和SpringBoot技术实现的的汽车行业大数据分析与可视化平台系统(源码+论文+PPT+部署文档教程等)

基于网络爬虫+Spark+Hadoop等大数据和SpringBoot技术实现的的汽车行业大数据分析与可视化平台系统(源码+论文+PPT+部署文档教程等)

博主介绍&#xff1a;CSDN毕设辅导第一人、全网粉丝50W,csdn特邀作者、博客专家、腾讯云社区合作讲师、CSDN新星计划导师、Java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和学生毕业项目实战,高校老师/讲师/同行前辈交流✌ 技术范围…
阅读更多...
最新文章

Copyright @ 2022~2023