多彩编程 多彩编程MZPH · CODE BLOG
ARTICLE DETAIL

文章详情

深耕前端与后端开发技术的一线实战笔记与踩坑复盘。

System x3850 X6 操作系统安装与避坑指南:从 RAID 配置到固件更新

System x3850 X6 操作系统安装与避坑指南:从 RAID 配置到固件更新 简介一份关于联想 Lenovo System x3850 X6 服务器操作系统安装全流程的实操记录面向服务器运维人员、硬件实施工程师及需要独立完成 x3850 X6 部署的读者。文档基于真实安装过程整理按五个章节展开配置磁盘阵列含 RAID5 创建与分卷设置、Lenovo ServerGuide 引导详解、制作 UEFI 启动 U 盘Rufus 工具使用、驱动集成dism 命令处理 install.wim/boot.wim、VOL 版 Windows 与 Office 在线激活。步骤附有界面说明和菜单路径便于对照操作遇到引导失败或驱动缺失时可按记录逐项排查。资源以 docx 格式提供共 1 个文件压缩包大小约 3.16MB内容结构清晰适合打印或边装边查。目前已有 3340 人浏览学习对正在实施 x3850 X6 装机与系统部署的读者有直接参考价值。1. system x3850 x6 操作系统不是“插 U 盘装系统”那么简单这份纪实写给要接手它的运维联想 Lenovo system x3850 x6 操作系统纪实听着像一篇装机流水账实际上这台机器给所有想“装个系统就完事”的人上了一课。x3850 x6 是联想从 IBM 手里接过来的 X6 旗舰架构4 路起步能扩到 8 路内存槽位逼近百条。它能跑 Windows Server、RHEL、ESXi也能跑各种国产化 Linux 发行版但每一步——从 IMM 管理口、UEFI 引导模式到 ServeRAID 阵列卡驱动加载——都有一套企业级服务器的规矩。这篇文章写给两类人刚接手二手 x3850 x6 准备做业务迁移或实验环境的运维以及想在旧企业服务器上折腾 Linux 的爱好者。我会从选系统、做阵列、装系统、补驱动一路讲到避坑和固件管理全部按我实际跑过的流程来写。2. 选系统x3850 x6 上装 Windows、Linux 还是虚拟化先看清这台机器的边界2.1 X6 架构的硬件边界决定了系统选型的三个前提x3850 x6 的硬件规格拿到今天依然能打4 颗 Intel Xeon E7-4800/8800 v2/v3/v4 处理器典型配置是 E7-4830 v3 或 E7-8860 v4单颗最高 18 核内存槽位 96 个左右配满 E7 v4 平台能上 TB 级容量硬盘位前置最多 8 个 2.5 寸 SAS/SATA通过扩展柜还能继续加。最特殊的是它的“双节点”扩展能力——用机箱后部的扩展模块把两台 x3850 X6 连成单台 8 路 SMP 系统这是它和普通 2 路服务器本质不同的地方。这套硬件边界直接决定了选系统时的三个前提。第一操作系统必须能识别 4 颗以上 CPU 和大内存这意味着 32 位系统直接排除老掉牙的 Windows Server 2003 也别想。第二系统内核或驱动要能撑得起 NUMA 拓扑——X6 架构的内存访问不是均匀的系统选不好会看到大量 CPU 跨节点访问性能打折。第三厂商支持列表是个参考但不是天花板x3850 x6 出厂年代对应的主流系统是 Windows Server 2012 R2/2016、RHEL 6/7、SUSE Linux Enterprise Server 11/12、VMware vSphere 5.5/6.0今天装 Windows Server 2022、RHEL 8/9、Ubuntu 22.04 也没问题只要自己愿意处理驱动和固件兼容性的额外工作量。2.2 四个候选操作系统的取舍一张表看清利弊操作系统适合场景安装难度驱动成熟度主要雷区Windows Server 2016/2019企业应用、SQL Server、活动目录中高联想有完整驱动包安装时看不到 RAID 磁盘需要手动加载驱动RHEL/CentOS 7.x/8.x数据库、容器、KVM 虚拟化中高系统自带 megaraid_sas 驱动UEFI 分区和固件版本匹配问题Ubuntu Server 20.04/22.04开发测试、容器、AI 训练节点中偏低中常用驱动能认但管理工具链不全带外管理联动弱固件更新要自己找路径VMware ESXi 6.7/7.0虚拟化整合、私有云底座低建议用联想定制镜像中高定制镜像集成驱动非定制镜像可能认不到网卡和阵列卡选型判断我直接给结论这台机器如果是跑生产业务优选 Windows Server 2016 或 RHEL 7.9 这类“联想驱动工具链覆盖完整”的系统别追新如果是为了学习和测试Ubuntu 或 ESXi 无所谓但你得接受“固件管理不如官方系统顺手”这件事。国产化环境里装麒麟或统信 UOS 也常见底层还是 Linux 内核照着 RHEL 的流程处理驱动逻辑即可只是有些带外工具链要额外验证。2.3 先裸机还是直接虚拟化我用翻车换来的顺序建议很多人看到 4 路 CPU、TB 级内存第一反应是直接上 ESXi把资源池化再跑虚拟机。我的建议是反过来先裸机装一个最小化系统把硬件验证完再上虚拟化。原因很实际虚拟化层会把部分硬件错误掩盖在虚拟机之下。内存降频、NUMA 节点不均衡、RAID 卡缓存策略错误这些在裸机上跑 10 分钟压力测试就能暴露的问题在虚拟化环境里会表现为“某台虚拟机随机卡死”的玄学故障。我见过最典型的案例一台 x3850 x6 装了 ESXi上面十几台虚拟机每周总有一两台无缘无故假死查了两个月最后发现是内存条有一条处于降频状态ESXi 的 NUMA 调度把它分给了某些虚拟机导致偶发性能雪崩。裸机装系统跑一遍内存测试半小时就能定位。所以我的落地顺序是这样新到手的 x3850 x6先升级 IMM2 和 UEFI 固件然后进阵列卡配置建好 RAID裸机装一个最小化的 RHEL 或 Windows Server跑 24 小时的内存和磁盘压力测试确认硬件没问题再决定装 ESXi 还是继续裸机用。多花一天时间换后面几个月的安稳值得。3. 把系统跑起来从 IMM 初始化到 RAID 阵列再到系统落盘3.1 第一次开机先找 IMM2带外管理是这台机器的第一道门x3850 x6 的带外管理核心是 IMM2Integrated Management Module II它相当于独立于操作系统的“第二台小电脑”负责远程控制、传感器监控、日志记录和固件更新。机器到手先把 IMM2 的管理网口通常标注 IMM 或 Mgmt接到管理网段。默认 IP 是 192.168.70.125用户名 USERID密码 PASSW0RD注意是数字 0不是字母 O。登录 IMM2 Web 界面后我建议立刻做三件事。第一修改默认密码这台机器要是放在共享机房默认密码就是被别人当后门用的。第二检查 IMM2 固件版本太老的版本对后续 UEFI 和阵列卡的操作有兼容性问题更新到较新版本再往下走。第三在“服务器属性”里记下机器型号、序列号和当前固件版本号后面找驱动和做资产盘点都用得上。IMM2 还有个很实用的功能远程挂载 ISO。操作路径是“远程控制台 → 启动 KVMJava/HTML5 远程桌面→ 虚拟介质”在里面把本地的 ISO 镜像挂载为虚拟光驱。这意味着重装系统时你不需要跑去机房插 U 盘只要网络能通远程就能引导安装。后面第 6 章我会再展开讲这个功能的运维价值。3.2 初始化并配置阵列卡ServeRAID M5210 的参数怎么设x3850 x6 常见的阵列卡是 ServeRAID M5210 或 M5215底子是 LSI MegaRAID 芯片操作系统识别为 megaraid_sas 设备。开机自检到 RAID 卡时按 CtrlH 进入 WebBIOS 配置界面部分固件版本按 CtrlR 进入也可以从 UEFI 设置里进入 RAID 配置页。新建阵列的常规步骤进入 Configuration Wizard选 Add Configuration。选 Manual 手动配置不要一上来就用 Easy Configuration。Easy Configuration 会自动勾选所有磁盘但不会按你的意图区分系统盘和数据盘后面调整很麻烦。勾选需要组阵列的物理磁盘设定 RAID 级别。系统盘建议两块 SSD 或 10K SAS 盘组 RAID 1数据盘根据容量和冗余需求选 RAID 5 或 RAID 6。8 块 2.5 寸盘位常见方案是 2 块做 RAID 1 装系统剩下 6 块组 RAID 5 或 RAID 6 放数据。设置初始化方式Fast Init 秒建阵列但实际校验在后台跑期间性能有波动Full Init 时间长但数据安全性高。我的习惯系统盘用 Fast Init数据盘用 Full Init。设置缓存策略Write Back 需要阵列卡上有电池或电容备份单元BBU/Flashback开启后随机写性能明显提升没有电池就只能选 Write Through否则停电丢数据不是开玩笑。WebBIOS 界面操作完成后按 CtrlP 回到 RAID 卡首页确认 “Virtual Drive” 状态是 “Optimal”然后退出并重启。这一步做完操作系统才能看到一块“干净”的逻辑磁盘。3.3 制作 UEFI 引导介质并安装系统RHEL 和 Windows 分两条路x3850 x6 的 UEFI 默认开启 Secure Boot这会影响老版本 Linux 和部分 Windows 安装介质。进 UEFI 设置开机按 F1在启动管理里把 Secure Boot 关掉同时确认引导模式是 UEFI 而不是 Legacy。U 盘制作建议用 Rufus 或 Ventoy分区表选 GPT目标系统类型选 UEFI。这一步做错后面会出现“U 盘引导到一半黑屏”的经典翻车。以 RHEL 7.9 为例插入 U 盘重启按 F12 选择 UEFI 启动项进入安装界面。在安装引导命令行通常不需要额外加参数但如果你发现磁盘识别异常可以追加调试信息# 在 anaconda 安装界面按 ShiftCtrlF2 切换到终端 # 手动加载阵列卡驱动通常已自动装载若看不到 RAID 卷则执行 modprobe megaraid_sas ls /dev/sd* # 查看 RAID 卷是否出现例如 /dev/sda 或 /dev/sdb这段命令的逻辑是megaraid_sas 是 LSI MegaRAID 系列芯片的内核驱动RHEL 7 内核自带并且在安装阶段常驻内存但 UEFI 模式下偶发驱动加载时序问题导致磁盘列表为空。手动 modprobe 强制加载后再按 ShiftCtrlF6 回到图形界面点击“刷新磁盘”通常就能看到 RAID 卷。分区时注意UEFI 引导必须创建/boot/efiESP 分区然后/、swap、/home按需分配。RHEL 自动分区一般能处理但手动分区时要确保/boot/efi是 EFI 系统分区类型否则引导器写不进去。Windows Server 2016 的安装路径不太一样。U 盘引导后进入安装界面如果磁盘列表里看不到 RAID 卷用以下方式处理把联想官方 ServeRAID M5210 的 Windows 驱动包解压后的目录拷到另一个 U 盘。在 Windows 安装程序“加载驱动程序”页面点击“浏览”指向驱动目录。系统会自动匹配适合的 INF 文件加载后点击“刷新”RAID 卷就会出现在磁盘列表里。注意驱动目录里有按操作系统版本分的子目录选错版本会提示“找不到匹配的驱动”。我在 x3850 x6 上装系统时经常看到有人卡在这一步半小时因为选了 Windows Server 2012 的驱动去装 2016。3.4 装完系统后的三件必做事项驱动、工具链、验证系统落盘只是第一步x3850 x6 装完系统后这三个动作不能跳过第一装芯片组和网卡驱动。Windows 下去联想支持站点下载 System x 驱动包按“Windows Server 2016”过滤把芯片组、网卡Intel 或 Broadcom/Emulex 视具体配置而定驱动装齐。Linux 下内核通常自带了但要确认网卡队列和速率# 查看网卡速率和工作模式 ethtool eth0 | grep -E Speed|Duplex # 查看网卡队列数量 ethtool -l eth0 # 查看中断合并参数 ethtool -c eth0如果 Speed 显示 100Mb/s大概率是网线或交换机端口问题换线再测。队列数偏少的话考虑用ethtool -L调整 Combined 队列数多队列对多核 CPU 的网络吞吐提升非常明显。第二装管理工具。Windows 下建议装 Lenovo XClarity Essentials 或 UpdateXpress System Update后面固件管理章节细讲Linux 下至少装ipmitool# RHEL/CentOS 安装 ipmitool yum install -y ipmitool # 验证 IMM 通信 ipmitool lan print 1 ipmitool sensor list | head -n 20ipmitool lan print 1能读到 IMM 管理口的 IP 和 MACsensor list能看到主板温度、CPU 温度、风扇转速等关键传感器的当前值。这两条命令是判断“操作系统和带外管理是否正常联动”的最快方式。第三做一次硬件压力验证。用stress或memtest86跑内存用fio跑磁盘至少过夜# 安装压力测试工具 yum install -y stress fio # 内存压力测试4 颗 CPU 满载跑 30 分钟 stress --cpu 32 --vm 8 --vm-bytes 8G --timeout 1800 # 磁盘随机读写压力测试 fio --namerandrw --rwrandrw --size20G --numjobs8 \ --runtime300 --group_reporting --direct1 --ioenginelibaio \ --bs4k --iodepth32fio 的--direct1绕过页缓存直接走设备 IO--bs4k --rwrandrw模拟数据库类随机读写负载。如果这轮测试中出现 IO 错误或系统重启说明 RAID 卡或磁盘有隐患趁早排查。4. 避坑x3850 x6 装操作系统最常见的 6 个翻车现场4.1 U 盘引导到一半黑屏UEFI 和 Legacy 模式打架现象U 盘用 Rufus 默认设置做好开机选 USB 启动屏幕闪几下后黑屏或直接回启动菜单。原因x3850 x6 默认 UEFI 引导而多数教程默认做的是 MBR/Legacy 引导的启动盘两者模式不匹配引导器根本找不到启动文件。解决用 Rufus 制作启动盘时分区类型选 GPT目标系统选 UEFI如果手里只有一个老 ISO 镜像进 UEFI 设置把引导模式改成 Legacy 先用着但系统装完后建议改回 UEFI——后续固件更新和引导管理更规范。4.2 Windows 安装界面死活看不到 RAID 磁盘现象阵列卡配置正常RAID 卷状态 Optimal但 Windows 安装程序显示“未找到驱动器”。原因Windows 安装介质里没有集成 ServeRAID M5210 的驱动同时阵列卡没有把逻辑卷设为可引导。另一个常见原因U 盘里的驱动是旧版和当前 UEFI 固件不匹配。解决先从阵列卡配置界面确认系统卷已设为 Bootable然后把联想提供的最新版 RAID 驱动解压到 FAT32 格式的 U 盘在 Windows 安装界面按 ShiftF10 打开命令行执行diskpart后用list disk验证系统能否看到磁盘——看不到就加载驱动看到但安装界面不显示可能是在“加载驱动程序”时选错了 INF 文件目录。4.3 Linux 系统认到阵列卡但识别不到逻辑卷现象modprobe megaraid_sas执行成功lspci能看到 RAID 卡但/dev/sd*里空空如也。原因RAID 卷处于“未初始化”或“离线”状态或者是 RAID 卡与磁盘之间的链路有问题磁盘掉线。还有一种情况RAID 卷正好处于 Fast Init 后台校验过程中某些固件版本会暂时无法导出逻辑卷给系统。解决回 WebBIOS 确认 Virtual Drive 状态如果显示 Offline 就重建阵列如果状态正常但系统不识别重启进 RAID 卡界面把卷做一次 “Make Bootable”再回系统刷新磁盘。Fast Init 的校验完成前尽量避免重启否则可能触发卷状态异常。4.4 内存频率只有 1066MHz性能缩水一半现象CPU 正确识别为 E7-4830 v3内存容量也认到了但频率停在 1066MHz 或更低跑压力测试分数明显偏低。原因X6 架构对内存配置有严格规则每颗 CPU 必须插满一组或按对称方式插 DIMM且 E7 v3 平台的内存频率本身随 DIMM 配置而变化。常见问题包括只插了一根内存条占了一个通道、混插了不同频率和型号的内存、UEFI 里开启了 Power Saving 模式。解决先查 x3850 x6 内存安装顺序图维护手册里有别凭感觉插确保每颗 CPU 的内存通道配置对称再进 UEFI 把电源策略改成 Performance 或 Maximum Performance混插的内存按最低频率统一运行别指望能超频。如果这些都做了还是降频用dmidecode -t memory看每根内存的速率配置定位到具体槽位。4.5 装 ESXi 后网卡驱不起来管理口 IP 配了不通现象ESXi 安装界面看不到任何网卡或者装完系统后在 DCUI 里配置管理网络列表为空也有反过来业务网口正常但 IMM 管理口在 ESXi 里被识别成普通网口导致混乱。原因ESXi 官方镜像默认不集成联想定制驱动和网卡驱动x3850 x6 的网卡控制器有多个版本部分 Broadcom/Emulex 网卡需要额外 VIB 包。解决从联想支持站点下载针对 x3850 x6 的 VMware ESXi 定制镜像或下载对应网卡的 VIB 包在安装时用esxcli software vib install离线安装。IMM 管理口是带外通道不要指望 ESXi 管理网络通过它通信IMM 口应该走独立的带外网段。4.6 二手设备拿到手IMM 密码和阵列配置都动不了现象从别人手里接的机器IMM 密码不知道阵列卡配置界面提示被锁定BIOS 也设置了管理员密码。原因前任管理员没交接或者设备是批量退役后流入市场的保留了原始配置。解决IMM 密码可通过主板上的重置跳线清除位置在维护手册里找操作方式是断电、短接跳线、通电复位UEFI/BIOS 密码对应主板上的 CMOS 跳线阵列配置直接把物理磁盘插拔后进入 WebBIOS 做 Factory Default不要试图保留旧配置——你永远不知道旧配置的缓存策略和热备盘状态重建阵列比解一个未知密码更省时间。5. 装完系统只是开始固件更新顺序和日常验证手段5.1 固件更新的正确顺序别跳着来顺序错了会变砖x3850 x6 的固件组件很多包括 IMM2 固件、UEFI/BIOS、阵列卡固件、网卡固件、电源模块固件某些机型还包含 SAS 扩展器固件。更新顺序的原则是先带外再带内先底层再设备。推荐的顺序优先更新 IMM2 固件因为 IMM2 是所有固件更新的传输通道它版本太老会不认新的 UEFI 或阵列卡固件包。然后是 UEFI/BIOS 固件它控制整个主板平台的基础行为。接着是阵列卡固件更新前确认 RAID 卷状态健康更新期间系统不要有 IO 负载。最后是网卡和存储扩展器等外围设备固件。工具方面Windows 下用 Lenovo UpdateXpress System UpdateLXSU它会自动扫描当前固件版本列出可用更新并生成顺序Linux 下也可以下载对应的更新包但更省心的方式是在 IMM2 里用“更新”功能区逐级上传。注意更新 IMM2 固件期间绝对不能断电断电会导致管理模块变砖只能送修。更新阵列卡固件前确认 RAID 卷处于 Optimal 状态且无校验任务跑必要时先做完校验再更新。固件更新完成后建议做两次重启第一次让固件配置完全写入第二次验证系统稳定。如果第一次重启后 IMM2 或 RAID 卡状态异常不要急着刷第二遍先检查版本号确认是否更新成功。5.2 日常验证的三类手段操作系统层、带外层、硬件层操作系统层验证我用这几条命令做日常巡检# 查看 CPU 频率和 NUMA 拓扑确认 E7 处理器没有降频 lscpu | grep -E CPU\(s\)|Model name|NUMA grep -E MHz|model name /proc/cpuinfo | head -n 12 # 查看内存硬件错误 dmesg | grep -i edac | tail -n 20 # 查看 RAID 阵列健康状态 storcli /c0/vall show all | grep -E Name|State|Typestorcli是 LSI/AVAGO 新版管理工具替换老旧的megacli。如果系统里没有可以从 RAID 卡工具包安装。storcli /c0/vall show all输出里State 是 Optl 表示正常Dgrd 表示降级Ofld 表示离线。看到降级立刻换盘别等数据重建到一半才反应。带外层验证用 ipmitool# 查看传感器告警 ipmitool sensor list | grep -E Temp|FAN|Volt | head -n 30 # 查看系统事件日志重点看有没有内存 CE/UE 错误 ipmitool sel list | tail -n 30 # 查看 IMM 的电源和温度概览 ipmitool sdr type temperature内存 CE 错误Correctable Error是很容易被忽略的早期信号。一条内存偶尔报 CE 错误很多人想着“反正不影响运行”就拖着了但 CE 错误积累到一定程度会转成 UEUncorrectable Error那就会直接造成系统重启或虚拟机宕机。x3850 x6 这类大内存机器CE 错误尤其要重视。硬件层验证除了前面 3.4 节提到的 stress 和 fio还建议加一个长时间运行的核验每季度做一次带内和带外信息的对比确认操作系统看到的 CPU/内存/阵列与 IMM2 报告的一致。一次性硬件配置变更后也要重新跑一轮压力测试再上线。5.3 备份与回滚给未来的自己留后悔药系统跑顺以后立刻做这几件备份IMM2 配置备份在 IMM2 Web 界面“配置”菜单里找“备份/恢复”导出配置文件到本地包含 IP 设置、用户账户、告警规则。这份文件在 IMM2 重置后可以直接恢复省去重新配置网络的时间。RAID 配置导出用 storcli 导出# 导出全部虚拟磁盘和物理磁盘配置到文件 storcli /c0 show all file/root/raid_backup.txt # 定期把文件拷到带外存储 scp /root/raid_backup.txt backup-server:/backup/x3850x6/操作系统层面的备份如果是 Linux用tar或者专门的备份工具做系统盘镜像如果是 Windows Server做系统状态备份同时把 RAID 驱动的安装包和版本记录到一个 README 文件里放一起保存。这套备份组合的意义在于阵列卡坏了换新卡后可以先用配置备份恢复虚拟磁盘的定义IMM 挂了能直接恢复配置系统盘故障能快速还原。我在实际维护中遇到过阵列卡损坏导致逻辑卷定义丢失的情况当时因为提前导出了配置备份换卡后几分钟就恢复了阵列识别数据一块没丢。没有那份备份就只能祈祷运气了。6. 进阶把 x3850 x6 用好的最后一件事——固件巡检的节奏和远程装系统的技巧前面五章已经让你能把系统跑起来并且稳住这一章聊两个能明显降低后续维护负担的进阶操作。第一建立固定的固件巡检节奏。我的习惯是每季度在 IMM2 里跑一次固件版本扫描把 IMM2、UEFI、阵列卡、网卡的版本记录下来和联想支持站点公布的最新版本做对比。需要更新时就按 5.1 章的顺序逐一执行不着急的更新可以攒到季度维护窗口一起做。另外每次要加内存、换 CPU 或换磁盘时先查一遍 UEFI 和阵列卡固件是否为较新版本——老固件对新型号内存或大容量磁盘的识别能力有限。我见过一台 x3850 x6 因为 UEFI 版本太老插上新买的 1.6TB SAS 盘后总是认成 2TB 以下的容量更新固件后立刻恢复正常。第二熟练使用 IMM2 的远程挂载 ISO 来重装系统。这个功能在机房场景非常实用服务器放在机柜深处伸手够不到 USB 口显示器键盘也可能没有只要 IMM2 网络可达就能在远程控制台里挂载 ISO虚拟光驱引导全程远程操作。具体操作路径是登录 IMM2 Web → 远程控制台 → 启动远程控制HTML5 或 Java 版→ 在虚拟介质菜单里选择“添加映像”→ 选择本地的 ISO 文件 → 在 UEFI 启动设置里把虚拟光驱设为第一启动项 → 重启进入安装。这里有个细节如果系统已经装好希望远程引导到维护工具比如 PE 或 SystemRescue不需要改 UEFI 启动顺序直接重启时按键打开启动菜单选虚拟光驱即可。注意 IMM2 远程控制台对老 Java 版本的依赖新版固件基本都支持 HTML5 远程控制台不用再装 Java 插件。最后一个来自我个人的习惯每次在这台机器上做完一次重要的系统或固件变更我都会写一段变更记录内容包括变更日期、变更内容、升级前后的版本号、阵列配置导出文件位置。时间长了这份记录就是这台机器最完整的“病历”。遇到问题翻一翻比重新从第一行命令开始排查要快得多。希望这份 x3850 x6 系统安装与维护纪实能帮你把设备真正用顺、用稳。本文还有配套的精品资源点击获取
返回列表