openstack计算节点nova-compute服务启动异常处理

#你处理过openstack中计算节点nova-compute服务假死的问题吗，正常状态下，突发指定到该节点的云主机创建失败，本篇介绍两个案例。#

在openstack云计算平台，nova计算节点经常出现nova-compute服务假死的状态，重启也起不来。创建云主机指定该节点创建云主机失败。该问题在我运维过程当中遇到过几次，在节点正常状态下，突然出现指定到该节点的云主机创建失败，但是其已存在的云主机是没有任何影响的时候，可能是存在脏数据，以下故障问题可以借鉴。

实例脏数据导致nova-compute服务启动异常

底层kvm的虚拟机和数据库中的云主机对应不上关系，导致nova-compute服务启动失败

1. 重启nova-conpute服务失败，查看nova-compute日志，因为数据库中的instances表中的数据和kvm层的信息不一致导致

根据uuid确认 instance-ID。

确认该实例状态，如果确实不一致了，定义为脏数据，查询示列ID的UUID，从kvm层销毁该云主机。

virsh dumpxml 实例ID | grep "<entry name='uuid'>"

nova show 379121c9-6ce2-49bc-8fec-a3fb9cbfb588 //没有该uuid virsh list --all |grep instance-00000015 //确认的实例状态 virsh destroy instance-00000015 //关机 virsh undefine instance-00000015 //销毁该云主机

然后重启libvirt服务和nova-compute服务

systemctl restart libvirtd.service systemctl restart openstack-nova-compute

在重新加入computeha 监控

consul members|grep server //登录server节点执行haclient.sh list-dangling haclient.sh list-dangling //加入fence的节点，也就是consul 隔离的节点重新加入monitor架空 haclient.sh monitor node-xx

修复nova-compute服务异常

1.确认libvirt服务运行情况

nova-compute服务异常的原因和ceph存储有关，可能存储网络连通异常。

//nova-compute服务在部分节点启动失败 systemctl stop openstack-nova-compute.service computeha-slave.service wdmd nova service-force-down --unset node-24 nova-compute nova service-enable node-24 nova-compute systemctl start openstack-nova-compute.service sys //重启libvirtd可以修复 systemctl restart libvirtd //检查是否受HAcomputer检测 haclinet.sh list-dangling //如果存在，执行重新加入 haclient.sh monitor node-24

2.查看异常节点nova-compute.log日志

nova-compute如果还是没法恢复，查看节点上nova-compute日志，确认有没有阻碍nova-compute服务启动的虚拟机资源，然后从数据库中

cat /var/log/nova/nova-compute.log|grep -i "InstanceNotFound"

tailf /var/log/nova/nova-compute.log //确认有没有阻碍nova-compute服务启动的虚拟机资源，然后从数据库中 cat /var/log/nova/nova-compute.log|grep -i "InstanceNotFound" mysql -uroot -p set foreign_key_checks = 0 delete from nova.instances where uuid="对应的UUID" //脚本 #!/bin/bash a=($(cat /var/log/nova/nova-compute.log | grep -Eo 'InstanceNotFound: Instance .* could not be found.' | awk '!a[$3]++ {printf"\"%s\"\n",$3}')) passwd=`consul kv get settings/cluster/database_password` echo "${a[@]}" for i in "${a[@]}" ;do mysql -u root -p${passwd} -e"set foreign_key_checks = 0; delete from nova.instances where uuid="$i";" done

3.重新启动nova-compute，接触节点隔离

如果重新加入force监控之后，服务启动正常，但是在server节点执行haclient.sh list-dangling，显示节点还在的问题。可以通过控制节点查看nova-monitor.log日志，很可能是该节点的租户网卡异常。