网站集约化建设意见和建议,网站建设需要的设备,宁波seo关键词优化外包,wordpress变更域名插件线上问题#xff1a;所有用户页面无法打开 1 线上问题2 问题处理3 复盘3.1 第二天观察 1 线上问题 上午进入工作时间#xff0c;Cat告警出现大量linda接口超时Exception。 随后#xff0c;产品和运营反馈无法打开页面#xff0c;前线用户大量反馈无法打开页面。 2 问题处… 线上问题所有用户页面无法打开 1 线上问题2 问题处理3 复盘3.1 第二天观察 1 线上问题 上午进入工作时间Cat告警出现大量linda接口超时Exception。 随后产品和运营反馈无法打开页面前线用户大量反馈无法打开页面。 2 问题处理 2.1 由于出现了linda告警所以马上到linda平台查看了接口监控信息发现从上午11点07分开始接口最大RT达到了30秒。 2.2 随后查看了系统的cpu的情况发现有几台机器的cpu持续在60%以上运行。 与此同时系统平均每秒出现20次young gcyoung gc每分钟运行时间2.5秒。 同时平均每秒出现1次full gcfull gc每分钟运行时间达到10秒以上。 由于大量请求都集中在这几台机器上因此由6台机器扩容到10台机器扩容了4台。5分钟后产品的页面开始逐渐可以刷新了。 扩容机器后该接口的95线响应RT从50秒降到了4秒。 3 复盘 下午又看了下上午linda接口的监控信息发现该接口的另外2个服务的RT平均都在2秒左右没有出现本服务平均最大RT30秒的情况。 结合当时出现的大量young gc和多次full gc推测是进入工作时间11点后请求都转发到对应几台服务器上开始出现大量young gc导致young gc运行时间增加。同时出现了full gc导致gc时间更长使得cpu持续升高也导致了linda接口打点后显示RT较长。 所以当时对应的措施应该是机器扩容机器升配cpu核数增加内存增大 3.1 第二天观察 第二天11点观察机器由6台扩容到10台后的表现 1请求量和昨天基本一致请求总量平均每秒10个平均qps2 295线RT昨天平均40秒 -- 今天平均6秒 3young gc次数昨天平均每秒20次 -- 今天平均每秒5次 2young gc时间昨天平均2.5秒 -- 今天平均0.5秒 2full gc时间昨天平均10秒 -- 今天未发生full gc 2cpu负载昨天平均60% -- 今天平均60%