取消
显示结果 
搜索替代 
您的意思是: 
cancel
2835
查看次数
0
有帮助
4
回复

请教CISCO3845路由器SYS-2-MALLOCFAIL告警的处理

xy411381121
Spotlight
Spotlight
本帖最后由 xy411381121 于 2020-5-21 14:08 编辑
设备:CISCO3845C/K9
版本:Version 15.0(1)M9
配件:
1块CISCO3845-MB-C/K9
4块HWIC-4T1/E1


拓扑结构大致如下:
140050uf5ffc9ztvsf1mht.png

故障现象:
仅在WAIBU-R1上存在ping包的时候,小包可以通,但大小在600以上的包就全丢包了,而WAIBU-R2上ping大包正常。
期初以为是R1路由器个别端口这样,后来试了一下,2M端口都是这样的,既是是在DDF架打硬环,ping自己也是这样的。
忘记测试内部服务器ping R1的G0/0口会不会也存在大包不通的现象。
R1上各端口5分钟内进出口平均流量也很低,远远低于端口带宽。


排查发现反复出现如下告警:
*May 20 15:51:45.713: %SYS-2-MALLOCFAIL: Memory allocation of 1708 bytes failed from 0x6052D5F8, alignment 32
Pool: I/O Free: 944240 Cause: Memory fragmentation
Alternate Pool: None Free: 0 Cause: No Alternate pool
-Process= "Pool Manager", ipl= 0, pid= 6, -Traceback= 0x632A5C70z 0x605270C0z 0x632BF78Cz 0x632BFA0Cz 0x63276F88z 0x63276F6Cz

感觉是内存出问题了吧.


然后查看内存状态,感觉I/O的使用率太高了吧:
使用show memory statistics显示如下:
Head Total(b) Used(b) Free(b) Lowest(b) Largest(b)
Processor 677EF8C0 360777532 54142428 306635104 92342032 244403360
I/O 2D000000 50331136 49390884 940252 936672 1676



使用show processes memory sorted ,在这里贴出部分:

Processor Pool Total: 360777532 Used: 54156628 Free: 306620904
I/O Pool Total: 50331136 Used: 49386896 Free: 944240

PID TTY Allocated Freed Holding Getbufs Retbufs Process
0 0 100444240 36137784 55206268 0 0 *Init*
43 0 3411131560 3327554804 35828172 48895416 0 Logger
6 0 2239099936 2366449240 3837476 522191080 567089436 Pool Manager
0 0 752887352 740792584 798128 10865144 0 *Dead*
79 0 659664 1312 640352 0 0 USB Startup
138 0 3249259856 1059269348 460824 0 0 SSS Manager
0 0 0 0 399952 0 0 *MallocLite*
1 0 983824 635576 355420 0 0 Chunk Manager
134 0 2254318164 2690554252 320260 0 0 PPP SIP
30 0 280372 0 290544 99792 0 EEM ED Syslog
246 0 254136 0 264364 0 0 QOS_MODULE_MAIN
215 0 217756 0 215756 0 0 Crypto HW Proc
282 0 204856 0 212028 0 0 EEM Server
144 0 1560094580 1185217492 203132 0 0 SSM connection m
114 0 3438011732 3435463064 164228 725868 0 CDP Protocol
88 0 143600 236 150536 0 0 Call Management
46 0 135224 393528 142396 0 0 IF-MGR control p
4 0 65588 0 90760 0 0 EDDRI_MAIN
74 0 80432 236 87368 0 0 VNM DSPRM MAIN
顺便查看了下cpu,cpu使用率没什么异常
CPU utilization for five seconds: 2%/0%; one minute: 2%; five minutes: 2%
PID Runtime(uS) Invoked uSecs 5Sec 1Min 5Min TTY Process
45 1516647168 204513127 11914 1.27% 1.21% 1.20% 0 Per-Second Jobs
58 1960186336 3449176 11775 0.23% 0.02% 0.00% 0 Per-minute Jobs
6 224000 162526377 0 0.15% 0.16% 0.15% 0 Pool Manager
160 11324000 315741871 0 0.07% 0.00% 0.00% 0 CEF: IPv4 proces
21 22584000 40612821 0 0.07% 0.01% 0.00% 0 Environmental mo
310 110040000 3998000450 0 0.07% 0.06% 0.07% 0 HSRP Common
4 0 1 0 0.00% 0.00% 0.00% 0 EDDRI_MAIN
5 4135283232 27756429 5255 0.00% 0.07% 0.05% 0 Check heaps
7 0 1 0 0.00% 0.00% 0.00% 0 DiscardQ Backgro
8 0 2 0 0.00% 0.00% 0.00% 0 Timers
3 4000 1 4000 0.00% 0.00% 0.00% 0 LICENSE AGENT

请问这种内存问题,是硬件故障了还是什么程序异常曹成的?该如何处理啊?
4 条回复4

YilinChen
Spotlight
Spotlight
内存有问题,在保开CASE,走RMA。

shuangbao wang
Level 7
Level 7
show的信息和另外一台对比下,或者重启下排除软件故障

junnyang
Cisco Employee
Cisco Employee
Hello,
看起来不是硬件问题。
Processor Pool Total: 360777532 Used: 54156628 Free: 306620904
I/O Pool Total: 50331136 Used: 49386896 Free: 944240
PID TTY Allocated Freed Holding Getbufs Retbufs Process
0 0 100444240 36137784 55206268 0 0 *Init*
43 0 3411131560 3327554804 35828172 48895416 0 Logger <<<<<<<<<<<<<
6 0 2239099936 2366449240 3837476 522191080 567089436 Pool Manager
Logger process holding 了35M内存,看起来有点问题,建议检查一下配置,是否开启了与日志相关的feature.
Best Regards,
Johnny

xy411381121
Spotlight
Spotlight
感觉是BUG吧,端午前两天有个施工点,重启了下就好了
入门指南

使用上面的搜索栏输入关键字、短语或问题,搜索问题的答案。

我们希望您在这里的旅程尽可能顺利,因此这里有一些链接可以帮助您快速熟悉思科社区:









快捷链接