请选择 进入手机版 | 继续访问电脑版

设为首页 收藏本站
思科社区 关注
思科社区

   思科 CCO 登录 推荐
 找回密码
 立即注册

搜索
热搜: 邮件服务器
查看: 1474|回复: 3

【原创】Cisco Catalyst 3850 Series Switches HIGH-CPU BUG排查解决纪实

[复制链接]
发表于 2019-3-5 14:29:40 | 显示全部楼层 |阅读模式
本帖最后由 liu.zhimin 于 2019-3-5 19:30 编辑

CiscoCatalyst 3850 Series Switches交换机CPU为四核,所以常见的网管监控平台无法针对设备所有CPU进行监控。(建议大家不要依赖网管监控平台)
我是通过ping 3850设备发现延迟发现这个问题的(延迟为1至20ms不等),通常设备针对ping的流量优先级最低,如果设备CPU繁忙则会出现ping高延迟的问题。
通过设备showprocess cpu sorted detailed可以看到CPU四个核基本都达到90%以上,其中占用最多的进程为fed。
升级步骤:如果3850做了堆叠,需要两台一起升级,整个升级过程需要25分钟,请大家务必在非交易时间进行升级。

详细如下:
------------------show process cpu sorted detailed ------------------
Core0: CPU utilization for five seconds: 97%; one minute: 90%; five minutes: 86%
Core1: CPU utilization for five seconds: 97%; one minute: 87%; five minutes: 81%
Core2: CPU utilization for five seconds: 99%; one minute: 76%; five minutes: 82%
Core3: CPU utilization for five seconds: 99%; one minute: 84%; five minutes: 65%
PID   T C  TID    Runtime(ms) Invoked uSecs 5Sec      1Min    5Min     TTY   Process
                                              (%)       (%)     (%)                 
6050  L          2806047     3037317 384   73.64     73.43   73.72   1088 fed               
6050   L 0 6490   2997319     14606720      24.37     24.22  24.23   0    fed-ots-main      
6050   L 2  11093 2556317     1149317 0     24.13     24.20   24.26  0    PunjectRx         
6050   L 1  10588 1073477     2112100 0     15.46     14.25   16.45  0     Xcvr              
6050   L 3  11459 1491764     2367863 0     8.91      10.05   7.99   0     XcvrPoll         
6050  L 3  6493   4039417     65131500      0.44     0.49    0.52    0    fed-ots-nfl  

通过确定,此为3850 IOS的bug,bug id为CSCuz57493,建议大家排查下各自在用的3850 IOS是否有涉及到相应版本。(版本如下)
建议尽快修复,以免影响网络正常运行从而影响业务使用。

受BUG影响软件版本:
15.2(3)E5以下版本
15.2(2)E6以下版本
3.6(6)E以下版本

BUG修复版本:
15.2(3)E5及以上版本
15.2(2)E6及以上版本
3.6(6)E及以上版本

备注:(BUG描述)
High CPU utilization due to FED andpunjectrx. These are some possible processes, please have TAC confirm thisdefect as there could be multiple reasons why this occurs.

High Processes are likely to be one of the following:

FED/fed-ots-main
FED/Punject Rx
FED/XCVR
FED/XCVRPoll
stack-mgr/Replenish OOB
stack-mgr/OOBnd RX

Conditions:
This can be easily seen in the switches/stacks that has longuptime (several months).

Workaround:
When the problem is happening NONE of the following optionswork:
- CPP (Control-Plane Policing)
- Storm control
- This problem can be confirmed by checking CPU usage fromkernel perspective (Only TAC can check the kernel)

Reload the device to resolve the issue until code upgrade topick up permanent fix

If this is a stack of multiple switches, a 'redundancyforce-switchover' will not necessarily clear this.

  • 1
  • 2
  • 3
  • 4
  • 5
  • 1
  • 2
  • 3
  • 4
  • 5
平均得分0 (0 评价)
发表于 2019-3-5 14:46:39 | 显示全部楼层
感谢楼主分享,您已成功参与“送给女神的礼物,我们已经帮你准备好了”活动。谢谢!
  • 1
  • 2
  • 3
  • 4
  • 5
  • 1
  • 2
  • 3
  • 4
  • 5
平均得分0 (0 评价)
发表于 2019-3-8 21:42:08 | 显示全部楼层
谢谢分享!
  • 1
  • 2
  • 3
  • 4
  • 5
  • 1
  • 2
  • 3
  • 4
  • 5
平均得分0 (0 评价)
发表于 2019-3-13 17:31:11 | 显示全部楼层
感谢楼主的分享
  • 1
  • 2
  • 3
  • 4
  • 5
  • 1
  • 2
  • 3
  • 4
  • 5
平均得分0 (0 评价)
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver | 思科社区  

GMT+8, 2019-8-20 07:52 , Processed in 0.087694 second(s), 36 queries .

京ICP备09041801号-187

版权所有 :copyright:1992-2019 思科系统  重要声明 | 保密声明 | 隐私权政策 | 商标 |

快速回复 返回顶部 返回列表