Linux 网络故障排查实战教程：ping/traceroute/mtr + tcpdump/wireshark 抓包分析

news/2025/11/27 10:51:43/文章来源:https://www.cnblogs.com/xyash/p/19276237

网络故障是运维日常最常遇到的问题——服务器无法访问外网、跨网段通信失败、Web服务访问超时、丢包卡顿等，排查核心是“从连通性到协议层，逐步缩小故障范围”。本文结合企业级实战经验，详解ping、traceroute、mtr等基础工具的用法，再深入tcpdump/wireshark抓包分析，覆盖“连通性检测→路由定位→数据包分析”全流程，适合运维工程师、系统管理员快速解决网络问题。

一、基础连通性检测：ping命令（快速判断“通不通”）

ping是最基础的网络检测工具，基于ICMP协议（Internet控制消息协议），通过发送“回声请求包”测试目标主机是否可达，以及网络延迟、丢包情况。

1. 核心用法与参数

# 基础用法：ping目标IP/域名（默认无限发送，Ctrl+C终止）
ping www.baidu.com
ping 192.168.1.100# 常用参数（实战高频）
ping -c 4 www.baidu.com  # -c：发送4个包后停止（避免无限循环）
ping -i 2 192.168.1.1    # -i：间隔2秒发送一个包（默认1秒）
ping -s 1000 192.168.1.1 # -s：发送数据包大小（单位字节，默认56字节）
ping -w 5 www.baidu.com  # -w：超时时间5秒（超过时间停止）
ping -n 192.168.1.100    # -n：只显示IP，不解析主机名（提速）

2. 输出结果解读（关键看3点）

# 正常输出示例
PING www.baidu.com (14.215.177.38) 56(84) bytes of data.
64 bytes from 14.215.177.38 (14.215.177.38): icmp_seq=1 ttl=54 time=12.3 ms
64 bytes from 14.215.177.38 (14.215.177.38): icmp_seq=2 ttl=54 time=11.8 ms
64 bytes from 14.215.177.38 (14.215.177.38): icmp_seq=3 ttl=54 time=12.1 ms
64 bytes from 14.215.177.38 (14.215.177.38): icmp_seq=4 ttl=54 time=12.5 ms--- www.baidu.com ping statistics ---
4 packets transmitted, 4 received, 0% packet loss, time 3004ms
rtt min/avg/max/mdev = 11.823/12.189/12.541/0.287 ms

丢包率：0% packet loss为正常，丢包率>0%说明网络不稳定（如10%丢包可能是链路拥堵）；
延迟（rtt）：avg平均延迟<50ms为优秀，50-100ms正常，>300ms可能是跨地域或路由问题；
TTL值：生存时间（默认Linux=64，Windows=128），TTL值骤降可能是路由跳数过多或网络设备限制。

3. 常见故障场景与排查思路

ping结果现象	可能原因	排查步骤
100%丢包（Request timed out）	目标主机未开机、防火墙禁用ICMP、网络不通	1. 确认目标主机是否在线；2. 检查目标主机防火墙（如firewalld是否拦截ICMP）；3. 用traceroute定位断连节点
延迟极高（>500ms）	路由跳数过多、跨运营商网络、链路拥堵	1. 用traceroute看哪一跳延迟高；2. 测试同运营商目标主机，排除跨网问题
间歇性丢包	网络波动、硬件故障（网线/网卡）、路由不稳定	1. 更换网线/网卡测试；2. 用mtr持续监控丢包情况；3. 检查交换机/路由器端口状态

4. 避坑点

ping不通≠网络故障：很多服务器为安全禁用ICMP（如阿里云ECS默认禁止ping），此时需用其他工具（如telnet、curl）测试端口连通性；
跨网段ping不通：优先检查路由配置（ip route）和防火墙规则（firewall-cmd --list-all）。

二、路由跟踪：traceroute/mtr（定位“哪里断了”）

ping只能判断“通或不通”，但无法知道故障发生在哪个路由节点。traceroute（跟踪路由）和mtr（持续路由监控）能精准定位故障节点——比如“访问百度丢包，是本地路由问题，还是运营商链路问题”。

1. traceroute：跟踪数据包转发路径

（1）核心用法与参数

# 安装（CentOS默认未安装）
yum install -y traceroute# 基础用法：跟踪目标IP/域名
traceroute www.baidu.com
traceroute 192.168.3.100# 常用参数
traceroute -n www.baidu.com  # -n：只显示IP，不解析主机名（提速）
traceroute -w 2 www.baidu.com # -w：每跳超时2秒（默认3秒）
traceroute -m 30 www.baidu.com # -m：最大跳数30（默认30，避免无限跳转）
traceroute -p 80 www.baidu.com # -p：指定端口（UDP默认33434，TCP需加-T参数）
traceroute -T -p 443 www.baidu.com # -T：用TCP协议跟踪（适合UDP被拦截的场景）

（2）输出结果解读

traceroute to www.baidu.com (14.215.177.38), 30 hops max, 60 byte packets1  192.168.1.1 (192.168.1.1)  0.523 ms  0.481 ms  0.456 ms  # 第1跳：本地路由器2  10.0.0.1 (10.0.0.1)  2.132 ms  2.098 ms  2.071 ms        # 第2跳：运营商网关3  223.5.5.5 (223.5.5.5)  10.234 ms  10.198 ms  10.172 ms  # 第3跳：阿里云DNS节点4  14.215.177.38 (14.215.177.38)  12.567 ms  12.532 ms  12.498 ms # 目标主机

每一行代表“一跳路由”，显示路由IP、延迟（3次测试结果）；
若某一跳显示* * *，说明该路由节点不响应ICMP/UDP请求（不一定是故障，可能是设备禁用了响应）；
故障定位：若前3跳正常，第4跳开始丢包/超时，说明故障在第4跳对应的路由节点（如运营商链路问题）。

2. mtr：ping+traceroute的结合体（持续监控更精准）

mtr比traceroute更强大，能持续发送数据包，统计每跳的丢包率和延迟，适合排查“间歇性丢包”“偶发延迟”问题。

（1）核心用法与参数

# 安装
yum install -y mtr# 基础用法：持续监控目标IP/域名（Ctrl+C终止）
mtr www.baidu.com
mtr 192.168.1.100# 常用参数
mtr -n www.baidu.com  # -n：只显示IP，不解析主机名
mtr -c 100 www.baidu.com # -c：发送100个包后生成统计报告
mtr -w www.baidu.com  # -w：生成简洁报告（适合保存日志）
mtr -T -p 443 www.baidu.com # -T：TCP模式，-p指定端口（适合ICMP被禁）

（2）输出结果解读（重点看丢包率和延迟）

# 终止后生成的统计报告
HOST: localhost.localdomain  Loss%   Snt   Last   Avg  Best  Wrst StDev1.|-- 192.168.1.1          0.0%   100    0.5    0.6    0.4    1.2    0.12.|-- 10.0.0.1             0.0%   100    2.1    2.2    2.0    3.5    0.23.|-- 223.5.5.5            2.0%   100   10.2   10.5    9.8   15.3    0.84.|-- 14.215.177.38        0.0%   100   12.3   12.5   11.8   18.7    0.7

Loss%：每跳的丢包率（第3跳2%丢包，说明该节点链路有轻微拥堵）；
Avg：每跳的平均延迟；
故障定位：若某一跳丢包率持续>5%，且后续跳均有丢包，说明故障在该节点（如联系运营商处理）。

3. 实战案例：跨网段通信失败

场景：服务器A（192.168.1.100）无法访问服务器B（192.168.3.200），ping 192.168.3.200显示100%丢包。

# 用traceroute定位
traceroute 192.168.3.200
# 输出结果
traceroute to 192.168.3.200 (192.168.3.200), 30 hops max, 60 byte packets1  192.168.1.1 (192.168.1.1)  0.5 ms  0.4 ms  0.4 ms2  * * *3  * * *# 分析：第1跳是本地路由器，第2跳开始超时，说明路由器未配置192.168.3.0/24的静态路由
# 解决：在路由器上添加静态路由，或在服务器A上配置静态路由（ip route add 192.168.3.0/24 via 192.168.1.1）

三、抓包分析：tcpdump/wireshark（深挖“协议层问题”）

当ping/traceroute确认网络连通，但应用服务（如Web、数据库）无法访问时，需通过抓包分析“数据包是否正常传输、协议是否有异常”——比如TCP三次握手失败、端口未开放、数据包被篡改等。

1. tcpdump：Linux命令行抓包（服务器端必备）

tcpdump是Linux内置的抓包工具，无需图形界面，适合服务器端实时抓包，支持按IP、端口、协议过滤，精准捕获目标数据包。

（1）核心用法与过滤规则

# 基础用法：捕获所有网卡的数据包（Ctrl+C终止）
tcpdump# 常用参数（实战高频）
tcpdump -i eth0  # -i：指定网卡（eth0，可通过ip addr查看）
tcpdump -c 100   # -c：捕获100个包后停止
tcpdump -w /tmp/network.pcap  # -w：保存抓包文件（后续用wireshark分析）
tcpdump -r /tmp/network.pcap  # -r：读取保存的抓包文件# 按IP过滤（捕获指定IP的数据包）
tcpdump -i eth0 host 192.168.1.100  # 捕获与192.168.1.100相关的所有包
tcpdump -i eth0 src 192.168.1.100   # 捕获源IP为192.168.1.100的包
tcpdump -i eth0 dst 192.168.3.200   # 捕获目标IP为192.168.3.200的包# 按端口过滤（捕获指定端口的数据包）
tcpdump -i eth0 port 80  # 捕获80端口（HTTP）的包
tcpdump -i eth0 port 3306  # 捕获3306端口（MySQL）的包
tcpdump -i eth0 src port 22  # 捕获源端口为22（SSH）的包# 按协议过滤（TCP/UDP/ICMP）
tcpdump -i eth0 tcp  # 只捕获TCP协议的包
tcpdump -i eth0 udp  # 只捕获UDP协议的包
tcpdump -i eth0 icmp # 只捕获ICMP协议的包（ping相关）# 组合过滤（精准捕获目标流量）
tcpdump -i eth0 tcp and host 192.168.1.100 and port 443  # 捕获192.168.1.100的443端口（HTTPS）TCP包
tcpdump -i eth0 not arp and not icmp  # 排除ARP和ICMP包，只抓应用层包

（2）输出结果解读（TCP包示例）

tcpdump -i eth0 tcp and host 192.168.1.100 and port 80
# 输出示例
10:23:45.123456 IP 192.168.1.100.54321 > 14.215.177.38.80: Flags [S], seq 123456789, win 65535, options [mss 1460,sackOK,TS val 123456 ecr 0,nop,wscale 6], length 0
10:23:45.124567 IP 14.215.177.38.80 > 192.168.1.100.54321: Flags [S.], seq 987654321, ack 123456790, win 65535, options [mss 1460,sackOK,TS val 987654 ecr 123456,nop,wscale 6], length 0
10:23:45.124678 IP 192.168.1.100.54321 > 14.215.177.38.80: Flags [.], ack 987654322, win 65535, options [nop,nop,TS val 123457 ecr 987654], length 0

Flags [S]：SYN包（TCP三次握手第一包，发起连接）；
Flags [S.]：SYN+ACK包（三次握手第二包，响应连接）；
Flags [.]：ACK包（三次握手第三包，确认连接）；
Flags [P]：PSH包（推送数据，应用层数据传输）；
Flags [F]：FIN包（关闭连接）。

（3）实战案例：TCP连接失败排查

场景：服务器A（192.168.1.100）无法访问服务器B（192.168.1.200）的80端口，ping正常，telnet 192.168.1.200 80显示“Connection refused”。

# 在服务器A上抓包
tcpdump -i eth0 tcp and host 192.168.1.200 and port 80 -w /tmp/tcp80.pcap# 用telnet测试连接（触发抓包）
telnet 192.168.1.200 80# 查看抓包结果（或用wireshark打开pcap文件）
tcpdump -r /tmp/tcp80.pcap
# 输出显示：服务器A发送SYN包后，服务器B回复RST包（Flags [R]），说明80端口未开放或服务未启动
# 解决：检查服务器B的Nginx服务是否启动（systemctl status nginx），防火墙是否开放80端口

2. wireshark：图形化抓包分析（可视化更直观）

tcpdump适合命令行抓包，但分析复杂数据包（如HTTP请求、HTTPS加密包）时，wireshark的图形化界面更友好，支持协议解析、过滤、统计，是抓包分析的“终极工具”。

（1）基础操作流程

安装：Windows/Linux/Mac均可安装（官网：https://www.wireshark.org/）；
选择网卡：打开wireshark，选择要抓包的网卡（如以太网、无线网卡），点击“开始抓包”；
设置过滤条件：在过滤栏输入过滤规则（与tcpdump类似，如ip.addr == 192.168.1.100 and tcp.port == 443）；
触发网络行为：如访问网页、连接数据库，让wireshark捕获数据包；
停止抓包：点击“停止”，分析捕获的数据包。

（2）核心过滤规则（与tcpdump互通）

过滤规则	作用
`ip.addr == 192.168.1.100`	显示与192.168.1.100相关的所有包
`tcp.port == 80`	显示80端口的TCP包
`http`	显示所有HTTP协议包
`https`	显示所有HTTPS协议包（需配置SSL密钥才能解密）
`tcp.flags.syn == 1`	显示TCP SYN包（发起连接）
`tcp.flags.reset == 1`	显示TCP RST包（连接被拒绝）
`icmp`	显示ICMP包（ping相关）

（3）实战案例：HTTPS访问超时排查

场景：浏览器访问https://www.example.com超时，ping和traceroute正常。

打开wireshark，选择网卡，设置过滤规则host www.example.com and tcp.port == 443；
浏览器访问目标网站，等待超时后停止抓包；
分析数据包：
- 若只看到SYN包，没有SYN+ACK包：说明目标服务器443端口未开放，或防火墙拦截；
- 若三次握手成功，但后续无数据传输：可能是HTTPS协议协商失败（如SSL版本不兼容）；
- 若数据包有重传标记（Retransmission）：说明网络丢包，导致数据传输超时。

（4）HTTPS数据包解密（进阶）

HTTPS数据包默认加密，无法直接查看内容，需配置SSL密钥解密：

浏览器（Chrome）：设置→隐私和安全→安全→管理证书→导出SSL密钥（格式为.pem）；
wireshark：编辑→首选项→Protocols→SSL→添加“RSA密钥列表”，选择导出的密钥文件，填写目标网站IP和443端口；
重新抓包，即可查看HTTPS明文数据（如HTTP请求头、响应内容）。

四、网络故障排查通用流程（按优先级排序）

确认故障现象：明确“什么功能失效”（如无法访问外网、数据库连接失败）、“影响范围”（单台服务器还是所有服务器）；
基础连通性测试：
- ping目标IP/域名，判断网络是否可达；
- telnet 目标IP 端口（如telnet 192.168.1.200 3306），判断端口是否开放；
路由定位：
- 用traceroute/mtr跟踪路由，找到丢包/超时的节点；
- 检查本地路由配置（ip route），确认默认网关和静态路由是否正确；
抓包分析：
- 用tcpdump在服务器端抓包，保存为pcap文件；
- 用wireshark打开pcap文件，过滤目标流量，分析协议层问题（如三次握手失败、数据包重传）；
排查本地配置：
- 防火墙规则（firewall-cmd --list-all/iptables -L -n）；
- 网卡配置（ip addr/ifconfig）；
- DNS配置（cat /etc/resolv.conf，用nslookup测试解析）；
排查目标端配置：
- 确认目标服务器是否在线；
- 目标服务器防火墙是否开放端口；
- 目标服务是否正常运行（systemctl status 服务名）。

五、常见故障排查避坑指南

不要依赖ping判断端口连通性：ping测试的是ICMP协议，与端口无关，端口连通性需用telnet、nc（nc -zv 192.168.1.200 80）测试；
traceroute的* * *不一定是故障：很多路由设备为安全禁用了ICMP/UDP响应，需结合mtr的丢包率判断；
抓包时避免捕获过多无关数据：先明确故障场景，用过滤规则精准捕获目标IP和端口的数据包，否则会因数据包过多难以分析；
HTTPS超时先排查端口和协议：优先测试443端口是否开放（telnet 目标IP 443），再用wireshark分析协议协商过程；
跨网段通信失败先查路由和防火墙：确认本地路由是否包含目标网段，目标网段的防火墙是否允许当前服务器IP访问。