Linux磁盘IO优化实战：从调度器到文件系统

前言

服务器CPU不高、内存够用，但就是慢。top一看，%wa（IO wait）长期在50%以上，说明CPU在等磁盘IO。

磁盘IO慢的原因很多：调度器不合适、文件系统配置不当、硬件瓶颈、或者应用IO模式有问题。这篇文章从系统层面到应用层面，讲清楚怎么定位和优化。

一、IO性能指标：先看懂这些数据

1.1 基础指标

# 查看IO统计iostat -x1# 输出示例Device r/s w/s rkB/s wkB/s await svctm %util sda50.0030.002048.001536.0012.508.0064.00

关键指标：

  • r/s、w/s：每秒读写次数（IOPS）
  • rkB/s、wkB/s：每秒读写数据量（吞吐量）
  • await：平均等待时间（毫秒），包括队列等待+服务时间
  • svctm：平均服务时间（毫秒），纯IO时间
  • %util：设备利用率，接近100%说明IO饱和

判断标准：

  • await>svctm：说明队列等待时间长，IO压力大
  • %util> 80%：IO设备接近饱和
  • svctm> 20ms：硬件可能有问题（SSD通常<1ms）

1.2 IO wait的含义

# top或htop查看top# 看 %wa 这一列# 或者用vmstatvmstat1# 看 wa 这一列

%wa表示CPU等待IO完成的时间占比。如果%wa高但%util不高，可能是：

  1. 应用在等IO，但IO设备本身不忙（可能是网络IO或其他设备）
  2. 多个进程在等IO，但IO请求分散在不同设备

1.3 查看进程IO

# iotop查看进程IO（需要root）iotop# 或者用pidstatpidstat -d1# 输出示例PID kB_rd/s kB_wr/s kB_ccwr/s Command123451024.00512.000.00java

二、IO调度器：选择合适的策略

2.1 查看当前调度器

# 查看调度器cat/sys/block/sda/queue/scheduler# 输出示例noop[deadline]cfq# 方括号表示当前使用的调度器

2.2 常见调度器对比

调度器特点适用场景
noop简单FIFO，不做排序虚拟化环境、SSD
deadline按截止时间排序，避免饥饿数据库、随机IO多
cfq公平队列，按进程分配时间片桌面系统、多进程混合IO
mq-deadlinedeadline的多队列版本现代SSD、NVMe

2.3 切换调度器

# 临时切换echodeadline>/sys/block/sda/queue/scheduler# 永久切换（CentOS/RHEL）# 在 /etc/udev/rules.d/60-io-scheduler.rules 添加：ACTION=="add|change",KERNEL=="sd[a-z]", ATTR{queue/scheduler}="deadline"# 永久切换（Ubuntu/Debian）# 在 /etc/default/grub 修改：GRUB_CMDLINE_LINUX="elevator=deadline"# 然后 update-grub 和 reboot

2.4 调度器参数调优

deadline调度器参数：

# 查看参数cat/sys/block/sda/queue/iosched/read_expirecat/sys/block/sda/queue/iosched/write_expirecat/sys/block/sda/queue/iosched/fifo_batch# 调整参数（单位：毫秒）echo500>/sys/block/sda/queue/iosched/read_expire# 读请求截止时间echo5000>/sys/block/sda/queue/iosched/write_expire# 写请求截止时间

建议：

  • 数据库：用deadline，读截止时间500ms，写截止时间5000ms
  • SSD：用noop或mq-deadline
  • 虚拟化：用noop

三、文件系统优化

3.1 挂载选项优化

# 查看当前挂载选项mount|grep/dev/sda1# 优化后的挂载选项（ext4）mount-o noatime,nodiratime,data=writeback,barrier=0/dev/sda1 /data# 或者写入 /etc/fstab/dev/sda1 /data ext4 noatime,nodiratime,data=writeback,barrier=002

常用选项：

  • noatime：不更新访问时间，减少写IO
  • nodiratime：目录不更新访问时间
  • data=writeback：延迟写回，提高性能（有数据丢失风险）
  • data=ordered：先写数据再写元数据（平衡性能和安全性）
  • barrier=0：关闭写屏障，提高性能（有数据丢失风险）
  • nobarrier：同barrier=0

建议：

  • 数据库数据目录：noatime,nodiratime,data=ordered
  • 日志目录：noatime,nodiratime,data=writeback
  • 生产环境谨慎用barrier=0，除非有UPS

3.2 ext4文件系统优化

# 格式化时优化mkfs.ext4 -O ^has_journal -Elazy_itable_init=0,lazy_journal_init=0/dev/sda1# 调整日志大小（默认128MB）tune2fs -Jsize=512/dev/sda1# 调整保留空间（默认5%）tune2fs -m1/dev/sda1# 保留1%

参数说明：

  • ^has_journal：关闭日志（性能最高，但崩溃可能丢数据）
  • lazy_itable_init=0：立即初始化inode表（格式化慢，但后续快）
  • -J size=512：日志512MB（大日志减少日志切换）

3.3 XFS文件系统优化

# 格式化时优化mkfs.xfs -dsu=256k,sw=2-lsize=512m /dev/sda1# 挂载选项mount-o noatime,nodiratime,largeio,inode64 /dev/sda1 /data

参数说明：

  • su=256k,sw=2：条带大小256KB，条带数2（RAID优化）
  • -l size=512m：日志512MB
  • largeio：大IO优化
  • inode64：支持64位inode号

3.4 文件系统选择建议

文件系统特点适用场景
ext4稳定、兼容性好通用场景
XFS大文件性能好大文件存储、数据库
Btrfs支持快照、压缩需要快照的场景
ZFS功能强大、资源占用高企业级存储

四、应用层IO优化

4.1 减少IO次数

问题：频繁小文件读写

# 不好的做法：每次写一行foriin{1..10000};doecho"line$i">>file.txtdone# 好的做法：批量写入{foriin{1..10000};doecho"line$i";done}>file.txt

问题：随机IO多

# 如果可能，改为顺序IO# 比如：先收集数据，再批量写入# 或者：用内存缓存，定期刷盘

4.2 使用异步IO

同步IO：read()/write()阻塞直到完成

异步IO：

  • Linux 5.1+：io_uring（高性能异步IO）
  • 传统：aio_read()/aio_write()（但文件IO支持不好）

io_uring示例（需要编程）：

// 伪代码示例structio_uringring;io_uring_queue_init(32,&ring,0);// 提交读请求structio_uring_sqe*sqe=io_uring_get_sqe(&ring);io_uring_prep_read(sqe,fd,buf,size,offset);io_uring_submit(&ring);// 等待完成structio_uring_cqe*cqe;io_uring_wait_cqe(&ring,&cqe);

4.3 数据库IO优化

MySQL：

# my.cnf innodb_flush_log_at_trx_commit = 2 # 每秒刷日志（性能更好，但可能丢1秒数据） innodb_flush_method = O_DIRECT # 绕过OS缓存 innodb_io_capacity = 2000 # SSD设置为2000-4000 innodb_read_io_threads = 4 innodb_write_io_threads = 4

PostgreSQL：

# postgresql.conf shared_buffers = 4GB effective_cache_size = 12GB random_page_cost = 1.1 # SSD设置为1.1-1.5

4.4 日志IO优化

问题：日志频繁刷盘影响性能

方案：

  1. 异步日志：日志先写内存，定期刷盘
  2. 日志轮转：限制单个日志文件大小
  3. 日志级别：生产环境减少DEBUG日志
# 示例：Java Logback异步日志<appendername="ASYNC"class="ch.qos.logback.classic.AsyncAppender"><queueSize>512</queueSize><appender-refref="FILE"/></appender>

五、硬件层面优化

5.1 RAID配置

RAID级别读性能写性能容错适用场景
RAID 0高高无性能优先，无容错需求
RAID 1中中高小容量、高可用
RAID 5高中有平衡性能和容量
RAID 10高高高性能和容错都要

建议：

  • 数据库：RAID 10
  • 日志：RAID 1或RAID 0（有备份）
  • 冷数据：RAID 5或RAID 6

5.2 SSD优化

# 查看SSD信息smartctl -a /dev/sda# 启用TRIM（自动回收）# ext4: mount时加 discard 选项# 或者定期执行: fstrim /data# 调整调度器echonoop>/sys/block/sda/queue/scheduler# 或echomq-deadline>/sys/block/sda/queue/scheduler

5.3 多路径IO（MPIO）

如果使用SAN存储，配置多路径提高性能和可用性：

# 安装multipathyuminstalldevice-mapper-multipath# 配置mpathconf --enable --with_multipathd y# 查看多路径multipath -ll

六、实战案例：定位IO瓶颈

6.1 案例1：数据库慢

现象：数据库查询慢，%wa高

排查步骤：

# 1. 看IO统计iostat -x1# 发现 %util 90%，await 50ms# 2. 看哪个进程在IOiotop# 发现MySQL进程IO高# 3. 看MySQL慢查询日志# 发现大量随机读# 4. 优化方案# - 调整innodb_buffer_pool_size（增加缓存）# - 优化查询（加索引、避免全表扫描）# - 调整调度器为deadline

6.2 案例2：日志写入慢

现象：应用日志写入慢，影响性能

排查步骤：

# 1. 看IO统计iostat -x1# 发现写IO高，await 30ms# 2. 看进程IOpidstat -d1# 发现Java进程写IO高# 3. 优化方案# - 日志改为异步写入# - 日志目录用data=writeback挂载# - 日志轮转，限制文件大小

6.3 案例3：文件系统慢

现象：文件操作慢，但硬件性能正常

排查步骤：

# 1. 看IO统计iostat -x1# 发现IOPS不高，但await高# 2. 看调度器cat/sys/block/sda/queue/scheduler# 发现用的是cfq，不适合当前场景# 3. 优化方案# - 切换调度器为deadline或noop# - 调整挂载选项（noatime等）

七、跨网络IO测试与监控

7.1 场景：分布式存储性能测试

如果需要在多台服务器上测试IO性能，逐个SSH登录很麻烦。

解决方案：

  1. 跳板机：所有机器都能连接的中转服务器
  2. 组网工具：WireGuard、ZeroTier、星空组网等，把机器组成虚拟局域网

用组网工具后，不管机器实际在哪，都可以用虚拟内网IP直接访问。然后用Ansible批量执行IO测试：

# Ansible批量执行fio测试ansible all -m shell -a"fio --name=test --filename=/tmp/test --size=1G --rw=randwrite --ioengine=libaio --bs=4k --iodepth=32 --runtime=60 --time_based"# 或者用脚本批量收集IO统计forhostin10.0.0.{1..10};dossh$host"iostat -x 1 10">iostat_${host}.logdone

7.2 场景：跨网络存储访问

如果应用需要访问远程存储（NFS、CIFS等），网络延迟会影响IO性能。

优化方案：

  1. 本地缓存：减少网络IO
  2. 批量操作：合并小IO
  3. 网络优化：用组网工具优化网络路径，减少延迟
# 示例：NFS挂载优化mount-orsize=1048576,wsize=1048576,hard,intr,timeo=600/nfs/server /mnt/nfs# 参数说明# rsize/wsize: 读写块大小，默认32KB，可以调大到1MB# hard: 服务器不可用时挂起（不要用soft，可能丢数据）# timeo: 超时时间（0.1秒单位）

八、监控与告警

8.1 关键指标监控

# 脚本：监控IO指标#!/bin/bashwhiletrue;doiostat -x11|grep-E"Device|sda"|awk'{print $10}'|tail-1sleep60done# 如果 %util > 80%，告警

8.2 Prometheus监控

# node_exporter 已经包含IO指标# 查询：node_disk_io_time_seconds_total# 查询：node_disk_read_time_seconds_total# 查询：node_disk_write_time_seconds_total

8.3 告警规则

# Prometheus告警规则groups:-name:disk_iorules:-alert:HighDiskIOUtilexpr:rate(node_disk_io_time_seconds_total[5m])>0.8for:5mannotations:summary:"磁盘IO利用率过高"-alert:HighDiskIOWaitexpr:rate(node_disk_io_time_weighted_seconds_total[5m])>0.5for:5mannotations:summary:"磁盘IO等待时间过长"

九、常见问题与注意事项

9.1 调度器切换不生效

# 检查是否真的切换了cat/sys/block/sda/queue/scheduler# 如果还是旧的，可能是：# 1. 设备被其他进程占用# 2. 需要重启# 3. 内核不支持该调度器

9.2 挂载选项不生效

# 检查当前挂载选项mount|grep/dev/sda1# 如果选项不对，可能是：# 1. /etc/fstab配置错误# 2. 需要重新挂载：mount -o remount /data

9.3 性能测试不准确

# 用fio做标准测试fio --name=test\--filename=/tmp/test\--size=1G\--rw=randwrite\--ioengine=libaio\--bs=4k\--iodepth=32\--runtime=60\--time_based\--direct=1# 参数说明# --direct=1: 绕过OS缓存，测试真实磁盘性能# --iodepth: IO队列深度，模拟并发# --bs: 块大小，模拟实际IO模式

9.4 生产环境调优风险

注意事项：

  1. barrier=0或data=writeback：有数据丢失风险，需要UPS
  2. 调度器切换：可能影响现有应用，先在测试环境验证
  3. 文件系统参数：格式化后才能改，需要备份数据

建议流程：

  1. 测试环境验证
  2. 灰度发布
  3. 监控指标
  4. 回滚方案

总结

优化方向具体措施预期效果风险
调度器数据库用deadline，SSD用noopIO延迟降低20-50%低
挂载选项noatime, data=ordered减少写IO 10-20%低
文件系统XFS适合大文件，ext4通用大文件性能提升30%+低
应用优化批量IO、异步IOIOPS提升50%+中
硬件优化RAID 10、SSD整体性能提升2-5倍低（成本高）

核心思路：

  1. 先用iostat看整体IO情况
  2. 用iotop或pidstat定位IO大户
  3. 根据场景选择调度器和文件系统
  4. 应用层优化（批量IO、异步IO）
  5. 硬件层面优化（RAID、SSD）

注意事项：

  • 生产环境调优要谨慎，先测试再上线
  • 监控IO指标，及时发现问题
  • 跨网络IO测试用组网工具统一管理更方便

公众号：北平的秋葵

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/1149078.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【AI编程工具】-Trae AI Solo模式完全指南（从入门到精通）

【AI编程工具】-Trae AI Solo模式完全指南（从入门到精通）

&#x1f680; Trae AI Solo模式完全指南&#xff1a;从入门到精通 #mermaid-svg-vAbptK7yEURhSa6v{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{…
阅读更多...
边缘计算网关有什么好用的推荐

边缘计算网关有什么好用的推荐

随着工业4.0与物联网技术的深度融合&#xff0c;数据采集的实时性、安全性以及本地处理需求愈发凸显&#xff0c;边缘计算网关作为连接物理设备与云端平台的核心枢纽&#xff0c;成为破解数据传输延迟、带宽占用过高难题的关键设备。如今市场上边缘计算网关品牌众多&#xff0c…
阅读更多...
单目深度估计应用案例：MiDaS在无人机导航中的实践

单目深度估计应用案例：MiDaS在无人机导航中的实践

单目深度估计应用案例&#xff1a;MiDaS在无人机导航中的实践 1. 引言&#xff1a;从2D视觉到3D空间感知的跨越 随着人工智能与计算机视觉技术的飞速发展&#xff0c;单目深度估计&#xff08;Monocular Depth Estimation&#xff09;正成为智能系统实现环境理解的关键能力。…
阅读更多...
Elasticsearch生产环境最佳实践指南

Elasticsearch生产环境最佳实践指南

一、常见生产环境问题 在实际工作中&#xff0c;你是否也遇到过这些问题&#xff1a; 搜索响应时间突然变慢&#xff0c;从几十毫秒变成几秒钟 内存占用飙升&#xff0c;服务器经常报警 集群偶尔出现脑裂&#xff0c;数据不一致 写入性能下降&#xff0c;索引速度跟不上数…
阅读更多...
如何提升图纸识别准确率？试试Qwen3-VL-WEBUI增强推理模式

如何提升图纸识别准确率？试试Qwen3-VL-WEBUI增强推理模式

如何提升图纸识别准确率&#xff1f;试试Qwen3-VL-WEBUI增强推理模式 在工业制造、建筑设计和设备维护等场景中&#xff0c;图纸是信息传递的核心载体。然而&#xff0c;大量历史图纸以扫描件或手写形式存在&#xff0c;传统OCR工具在处理模糊、倾斜、多语言混排或复杂版面时往…
阅读更多...
ResNet18模型体验馆：24小时自助，随到随玩

ResNet18模型体验馆：24小时自助，随到随玩

ResNet18模型体验馆&#xff1a;24小时自助&#xff0c;随到随玩 引言 作为一名经常加班的开发者&#xff0c;你是否遇到过这样的困扰&#xff1a;深夜灵感迸发时&#xff0c;实验室的GPU资源已经关闭&#xff1b;或是临时需要测试一个图像分类模型&#xff0c;却要花半天时间…
阅读更多...
万能分类器避坑指南：云端GPU实测，这些参数调优省80%时间

万能分类器避坑指南：云端GPU实测，这些参数调优省80%时间

万能分类器避坑指南&#xff1a;云端GPU实测&#xff0c;这些参数调优省80%时间 引言 作为一名AI开发者&#xff0c;你是否遇到过这样的困境&#xff1a;在本地电脑上训练分类模型时&#xff0c;总是遇到"Out of Memory"&#xff08;OOM&#xff09;错误&#xff0…
阅读更多...
移动端性能优化：Android/iOS 启动速度与流畅度优化

移动端性能优化：Android/iOS 启动速度与流畅度优化

移动端性能优化代码示例Android 启动速度优化通过异步加载和延迟初始化减少主线程负担&#xff1a;public class MyApplication extends Application {Overridepublic void onCreate() {super.onCreate();new Thread(() -> {// 后台初始化第三方库initThirdPartyLibs();}).s…
阅读更多...
达普韦伯 —— 让区块链落地更简单，让Web3梦想更快实现。

达普韦伯 —— 让区块链落地更简单，让Web3梦想更快实现。

2026年&#xff0c;加密货币和传统金融市场的量化交易战场上&#xff0c;一个残酷的事实摆在所有人面前&#xff1a;量化交易机器人开发失败率极高——业内流传的数据显示&#xff0c;80%以上的自建或外包量化机器人项目最终无法稳定盈利&#xff0c;甚至血本无归。回测天堂、实…
阅读更多...
AI分类器融合技巧：投票集成+云端并行加速5倍

AI分类器融合技巧：投票集成+云端并行加速5倍

AI分类器融合技巧&#xff1a;投票集成云端并行加速5倍 1. 为什么需要分类器融合&#xff1f; 在机器学习比赛中&#xff0c;单个分类器的性能往往有限。就像医生会诊需要多位专家共同判断一样&#xff0c;融合多个分类器的预测结果通常能获得更稳定、更准确的表现。但实际操…
阅读更多...
SSL证书水太深！免费SSL证书够用吗？小公司花几百块买证书，到底值不值？

SSL证书水太深！免费SSL证书够用吗？小公司花几百块买证书，到底值不值？

小公司有必要花钱买SSL证书吗&#xff1f; 答案是&#xff1a;看需求&#xff0c;也看预算。 现在几乎所有网站都标配HTTPS。 没有 SSL 证书&#xff0c;浏览器会标红“不安全”。 用户可能直接关掉页面。 所以&#xff0c;必须用&#xff0c;但不一定必须花钱。 一、免费…
阅读更多...
打造企业级视觉智能系统｜基于Qwen3-VL-WEBUI的低代码解决方案

打造企业级视觉智能系统｜基于Qwen3-VL-WEBUI的低代码解决方案

打造企业级视觉智能系统&#xff5c;基于Qwen3-VL-WEBUI的低代码解决方案 在数字化转型浪潮中&#xff0c;企业对“视觉智能”的需求正以前所未有的速度增长。从自动化表单识别、UI代码生成到视频内容理解&#xff0c;传统开发模式往往依赖复杂的多模块拼接&#xff1a;OCR引擎…
阅读更多...
MiDaS模型对比：不同场景适应性测试

MiDaS模型对比：不同场景适应性测试

MiDaS模型对比&#xff1a;不同场景适应性测试 1. 引言&#xff1a;AI 单目深度估计的现实挑战 在计算机视觉领域&#xff0c;从单张2D图像中恢复3D空间结构一直是极具挑战性的任务。传统方法依赖多视角几何或激光雷达等硬件设备&#xff0c;成本高且部署复杂。近年来&#x…
阅读更多...
MiDaS模型部署指南：Docker容器化方案详解

MiDaS模型部署指南：Docker容器化方案详解

MiDaS模型部署指南&#xff1a;Docker容器化方案详解 1. 引言&#xff1a;AI 单目深度估计的现实价值 1.1 技术背景与行业需求 在自动驾驶、机器人导航、AR/VR 和三维重建等前沿领域&#xff0c;环境的空间感知能力是系统智能化的核心基础。传统依赖激光雷达或多摄像头立体视…
阅读更多...
Boost 双闭环控制仿真升压电路PI调节器设计之旅

Boost 双闭环控制仿真升压电路PI调节器设计之旅

boost双闭环控制仿真升压电路PI调节器设计升压斩波电路建模和数学模型建模 建模方法有状态空间平均法&#xff0c;开关元件平均模型法&#xff0c;开关网络平均模型法提供双闭环调节器设计方案 从滤波器设计到pi调节器设计再到仿真。 从滤波器设计到建模&#xff0c;得到被控对…
阅读更多...
预测市场+AI Agent：下一个万亿赛道，普通人如何布局根据这个写一篇自媒体营销软文，融入达普韦伯

预测市场+AI Agent：下一个万亿赛道，普通人如何布局根据这个写一篇自媒体营销软文，融入达普韦伯

2026年&#xff0c;AI与区块链的深度融合正引爆下一个万亿级赛道——预测市场 AI Agent。这不是科幻&#xff0c;而是正在发生的现实&#xff1a;Polymarket等平台2025年交易量已超数百亿美元&#xff0c;AI自主代理&#xff08;Agent&#xff09;已开始在真实预测市场上交易、…
阅读更多...
高效部署Qwen3-VL的秘诀｜使用内置镜像免去依赖烦恼

高效部署Qwen3-VL的秘诀｜使用内置镜像免去依赖烦恼

高效部署Qwen3-VL的秘诀&#xff5c;使用内置镜像免去依赖烦恼 1. 引言&#xff1a;从繁琐部署到一键启动的范式转变 在多模态大模型快速发展的今天&#xff0c;Qwen3-VL作为阿里云推出的最新视觉语言模型&#xff0c;凭借其强大的图文理解、视频分析与GUI代理能力&#xff0…
阅读更多...
环保人士专属：低碳AI分类计算方案

环保人士专属：低碳AI分类计算方案

环保人士专属&#xff1a;低碳AI分类计算方案 引言&#xff1a;当环保遇上AI 作为一名关注环保的技术爱好者&#xff0c;我一直在寻找既能满足计算需求又符合低碳理念的AI解决方案。直到发现这套低碳AI分类计算方案&#xff0c;它完美解决了绿色组织在碳足迹计算中的痛点。 …
阅读更多...
iOS 开发入门：SwiftUI 快速搭建原生应用

iOS 开发入门：SwiftUI 快速搭建原生应用

SwiftUI 快速搭建原生应用示例以下是一个基于 SwiftUI 的 iOS 应用基础模板&#xff0c;包含常见的 UI 组件和交互逻辑&#xff1a;基础视图结构import SwiftUIstruct ContentView: View {State private var textInput: String ""State private var toggleState: Bo…
阅读更多...
无需编程也能玩转多模态AI｜Qwen3-VL-WEBUI + Dify快速上手指南

无需编程也能玩转多模态AI｜Qwen3-VL-WEBUI + Dify快速上手指南

无需编程也能玩转多模态AI&#xff5c;Qwen3-VL-WEBUI Dify快速上手指南 在人工智能加速落地的今天&#xff0c;越来越多非技术背景的用户也希望“用AI看懂世界”——无论是将一张App截图转化为可运行的前端代码&#xff0c;还是从发票照片中自动提取关键信息。然而传统多模态…
阅读更多...
最新文章

Copyright @ 2022~2023