两台4507做VSS,网关延迟不正常,平均66ms,cpu占用也异常,请大佬帮忙排错,谢谢~
环境:4507每台都是双引擎,模式sso,已经配置了vss(但是我忘记指定prority大小了,相当于现在两台4507优先级一样的,现在可以不退出VSS的情况下修改prority大小吗?)了,这两台就是核心交换机了,最简单的网络架构,下联交换机每台2跟光线走到两台核心,都是trunk口并且做了端口聚合,核心做了vtp server,二层都是client,详细看下图。
核心主要做了一些vlan的网关,因为测试阶段,所以做了一个route-map,一条acl而已,其他的acl等都是配置vss后自动生成的。
问题:
1.发现我从客户端(笔记本电脑),不管直接接在核心的端口还是下联二层端口,我ping网关延迟都很高,评价60ms,理论上应该是1-5ms波动,因为我现在根本没有很大的数据交换,我ping其他电脑的ip(跨网段的),延迟1ms,很正常。截图如下
2.我show process cpu 时候发现cpu莫名占用54% 45% 45%,这样子的cpu占用也是异常的,问题点我不知道在哪里,该如何排查?数据如下
4507-1#show processes cpu sorted
Core 0: CPU utilization for five seconds: 45%; one minute: 46%; five minutes: 45%Core 1: CPU utilization for five seconds: 20%; one minute: 47%; five minutes: 54%Core 2: CPU utilization for five seconds: 5%; one minute: 16%; five minutes: 26%Core 3: CPU utilization for five seconds: 80%; one minute: 41%; five minutes: 25%PID Runtime(ms) Invoked uSecs 5Sec 1Min 5Min TTY Process
5672 2023179 15225151 252 37.08 37.29 37.22 0 iosd
5606 1001172 63660994 15 0.36 0.31 0.30 0 pdsd
5591 928870 18834375 49 0.19 0.15 0.15 1088 pdsvslifshim
4968 378825 1272658 297 0.06 0.02 0.02 0 sh
5619 571623 1725256 331 0.04 0.02 0.02 0 cpumemd
34 59377 7614441 7 0.02 0.01 0.02 0 sirq-timer/2
60 32164 819083 39 0.02 0.02 0.02 0 events/1
4855 187118 249923 748 0.02 0.01 0.01 0 sh
5314 159790 1638107 97 0.02 0.01 0.00 0 system_mgr
5595 12672 909030 13 0.02 0.02 0.02 0 profiled
5612 265147 1643136 161 0.02 0.02 0.02 0 mem_mgmt
5613 36462 1723408 21 0.02 0.01 0.02 0 mgmte_tap
5616 1591782 20741026 76 0.02 0.03 0.04 0 ffm
5642 23026 1726967 13 0.02 0.02 0.02 0 ngdumper_provid
5658 12392 903163 13 0.02 0.02 0.00 0 fs_cmd
1 1571 1120 1403 0.00 0.00 0.00 0 init
2 2 180 15 0.00 0.00 0.00 0 kthreadd
3 1072 190749 5 0.00 0.00 0.00 0 migration/0
4 0 3 2 0.00 0.00 0.00 0 sirq-high/0
5 5648 947219 5 0.00 0.00 0.00 0 sirq-timer/0
6 0 5 0 0.00 0.00 0.00 0 sirq-net-tx/0
7 2981 1303896 2 0.00 0.00 0.00 0 sirq-net-rx/0
8 100 3611 27 0.00 0.00 0.00 0 sirq-block/0
9 0 8 0 0.00 0.00 0.00 0 sirq-block-iopo
10 0 11 1 0.00 0.00 0.00 0 sirq-tasklet/0
11 0 10 0 0.00 0.00 0.00 0 sirq-sched/0
12 468 79374 5 0.00 0.00 0.00 0 sirq-hrtimer/0
13 0 12 0 0.00 0.00 0.00 0 sirq-rcu/0
14 0 27 4 0.00 0.00 0.00 0 stopper/0
15 0 15 0 0.00 0.00 0.00 0 watchdog/0
16 2242 411216 5 0.00 0.00 0.00 0 desched/0
17 508 56578 8 0.00 0.00 0.00 0 migration/1
18 0 30 2 0.00 0.00 0.00 0 stopper/1
19 0 18 0 0.00 0.00 0.00 0 sirq-high/1
20 1647 238088 6 0.00 0.00 0.00 0 sirq-timer/1
21 0 20 0 0.00 0.00 0.00 0 sirq-net-tx/1
22 4393 1333613 3 0.00 0.00 0.00 0 sirq-net-rx/1
23 47 942 50 0.00 0.00 0.00 0 sirq-block/1
24 0 23 0 0.00 0.00 0.00 0 sirq-block-iopo
25 0 24 0 0.00 0.00 0.00 0 sirq-tasklet/1
26 0 25 0 0.00 0.00 0.00 0 sirq-sched/1
27 1071 201275 5 0.00 0.00 0.00 0 sirq-hrtimer/1
28 0 27 0 0.00 0.00 0.00 0 sirq-rcu/1
29 0 29 0 0.00 0.00 0.00 0 watchdog/1
30 765 121068 6 0.00 0.00 0.00 0 desched/1
31 657 78375 8 0.00 0.00 0.00 0 migration/2
32 0 41 1 0.00 0.00 0.00 0 stopper/2
33 0 32 0 0.00 0.00 0.00 0 sirq-high/2
35 0 34 0 0.00 0.00 0.00 0 sirq-net-tx/2
36 4716 1449389 3 0.00 0.01 0.02 0 sirq-net-rx/2
37 4 198 22 0.00 0.00 0.00 0 sirq-block/2
38 0 37 0 0.00 0.00 0.00 0 sirq-block-iopo
39 0 39 0 0.00 0.00 0.00 0 sirq-tasklet/2
40 0 39 0 0.00 0.00 0.00 0 sirq-sched/2
41 134 26389 5 0.00 0.00 0.00 0 sirq-hrtimer/2
42 0 41 0 0.00 0.00 0.00 0 sirq-rcu/2
43 0 42 0 0.00 0.00 0.00 0 watchdog/2
44 746 110666 6 0.00 0.00 0.00 0 desched/2
45 584 59094 9 0.00 0.00 0.00 0 migration/3
46 0 52 2 0.00 0.00 0.00 0 stopper/3
47 0 46 0 0.00 0.00 0.00 0 sirq-high/3
48 104 14070 7 0.00 0.00 0.00 0 sirq-timer/3
49 0 48 0 0.00 0.00 0.00 0 sirq-net-tx/3
50 5656 1790956 3 0.00 0.00 0.00 0 sirq-net-rx/3
51 9 402 24 0.00 0.00 0.00 0 sirq-block/3
52 0 51 0 0.00 0.00 0.00 0 sirq-block-iopo
53 0 54 0 0.00 0.00 0.00 0 sirq-tasklet/3
54 0 53 0 0.00 0.00 0.00 0 sirq-sched/3
55 57 11187 5 0.00 0.00 0.00 0 sirq-hrtimer/3
56 0 55 0 0.00 0.00 0.00 0 sirq-rcu/3
57 0 56 0 0.00 0.00 0.00 0 watchdog/3
58 606 92710 6 0.00 0.00 0.00 0 desched/3
59 380970 1646080 231 0.00 0.00 0.00 0 events/0
61 33969 868313 39 0.00 0.00 0.00 0 events/2
62 388177 1507784 257 0.00 0.04 0.01 0 events/3
63 0 62 0 0.00 0.00 0.00 0 cpuset
64 24 2335 10 0.00 0.00 0.00 0 khelper
67 10 71 145 0.00 0.00 0.00 0 netns
68 0 67 0 0.00 0.00 0.00 0 async/mgr
201 1089 136428 7 0.00 0.00 0.00 0 sync_supers
203 36 2856 12 0.00 0.00 0.00 0 bdi-default
205 79 2981 26 0.00 0.00 0.00 0 kblockd/0
206 6 433 15 0.00 0.00 0.00 0 kblockd/1
207 3 173 17 0.00 0.00 0.00 0 kblockd/2
208 0 136 4 0.00 0.00 0.00 0 kblockd/3
214 0 72 0 0.00 0.00 0.00 0 ata/0
215 0 73 0 0.00 0.00 0.00 0 ata/1
216 0 74 0 0.00 0.00 0.00 0 ata/2
217 0 75 0 0.00 0.00 0.00 0 ata/3
218 0 76 0 0.00 0.00 0.00 0 ata_aux
227 0 103 5 0.00 0.00 0.00 0 khubd
230 0 78 0 0.00 0.00 0.00 0 kseriod
233 19215 2378026 8 0.00 0.00 0.00 0 kmmcd
270 0 119 3 0.00 0.00 0.00 0 rpciod/0
271 0 105 2 0.00 0.00 0.00 0 rpciod/1
272 0 103 2 0.00 0.00 0.00 0 rpciod/2
273 0 93 0 0.00 0.00 0.00 0 rpciod/3
462 567 6909 82 0.00 0.00 0.00 0 khungtaskd
463 0 93 0 0.00 0.00 0.00 0 kswapd0
464 0 94 0 0.00 0.00 0.00 0 aio/0
465 0 95 0 0.00 0.00 0.00 0 aio/1
466 0 96 0 0.00 0.00 0.00 0 aio/2
467 0 97 0 0.00 0.00 0.00 0 aio/3
468 0 120 2 0.00 0.00 0.00 0 nfsiod
470 0 99 0 0.00 0.00 0.00 0 xfs_mru_cache
471 0 100 0 0.00 0.00 0.00 0 xfslogd/0
472 0 101 0 0.00 0.00 0.00 0 xfslogd/1
473 0 102 0 0.00 0.00 0.00 0 xfslogd/2
474 0 103 0 0.00 0.00 0.00 0 xfslogd/3
475 0 104 0 0.00 0.00 0.00 0 xfsdatad/0
476 0 105 0 0.00 0.00 0.00 0 xfsdatad/1
477 0 106 0 0.00 0.00 0.00 0 xfsdatad/2
478 0 107 0 0.00 0.00 0.00 0 xfsdatad/3
479 0 108 0 0.00 0.00 0.00 0 xfsconvertd/0
480 0 109 0 0.00 0.00 0.00 0 xfsconvertd/1
481 0 110 0 0.00 0.00 0.00 0 xfsconvertd/2
482 0 111 0 0.00 0.00 0.00 0 xfsconvertd/3
483 0 112 0 0.00 0.00 0.00 0 crypto/0
484 0 113 0 0.00 0.00 0.00 0 crypto/1
485 0 114 0 0.00 0.00 0.00 0 crypto/2
486 0 115 0 0.00 0.00 0.00 0 crypto/3
653 96 20126 4 0.00 0.00 0.00 0 mtdblockd
657 132 40057 3 0.00 0.00 0.00 0 ffe110000.spi
773 0 134 0 0.00 0.00 0.00 0 edac-poller
790 0 138 0 0.00 0.00 0.00 0 deferwq
794 0 136 0 0.00 0.00 0.00 0 scsi_eh_0
795 146 20162 7 0.00 0.00 0.00 0 usb-storage
854 159 1022 155 0.00 0.00 0.00 0 udevd
975 197 8405 23 0.00 0.00 0.00 0 loop0
1001 0 145 0 0.00 0.00 0.00 0 loop1
1147 254 8209 30 0.00 0.00 0.00 0 loop2
1972 6 953 7 0.00 0.00 0.00 0 udevd
1977 1 930 1 0.00 0.00 0.00 0 udevd
2351 78 1088 72 0.00 0.00 0.00 0 dbus-daemon
2692 102 1110 92 0.00 0.00 0.00 0 klogd
2704 3 945 3 0.00 0.00 0.00 0 portmap
2771 0 924 1 0.00 0.00 0.00 0 sshd
2783 12 983 12 0.00 0.00 0.00 0 xinetd
2787 1 919 2 0.00 0.00 0.00 0 xinetd
2817 0 144 0 0.00 0.00 0.00 0 lockd
2818 1 373 4 0.00 0.00 0.00 0 nfsd
2819 1 374 4 0.00 0.00 0.00 0 nfsd
2820 1 375 4 0.00 0.00 0.00 0 nfsd
2821 1 376 4 0.00 0.00 0.00 0 nfsd
2822 1 377 4 0.00 0.00 0.00 0 nfsd
2823 1 378 4 0.00 0.00 0.00 0 nfsd
2824 1 379 3 0.00 0.00 0.00 0 nfsd
2825 1 379 3 0.00 0.00 0.00 0 nfsd
2831 0 948 0 0.00 0.00 0.00 0 rpc.mountd
3196 1 1051 1 0.00 0.00 0.00 0 sh
3200 2 1053 2 0.00 0.00 0.00 0 inotifywait
4240 0 153 0 0.00 0.00 0.00 0 vsi work/0
4241 0 154 0 0.00 0.00 0.00 0 vsi work/1
4242 0 155 0 0.00 0.00 0.00 0 vsi work/2
4243 0 156 0 0.00 0.00 0.00 0 vsi work/3
4778 17808 1640623 10 0.00 0.00 0.00 0 watchdog
5548 16777 997161 16 0.00 0.00 0.00 1088 slproc
5588 158714 18114025 8 0.00 0.01 0.02 1088 platformmgr
5593 12500 904572 13 0.00 0.00 0.00 0 ns_oir_proxy
5597 36240 83146 435 0.00 0.00 0.00 0 oom_poll.sh
5598 13403 913880 14 0.00 0.00 0.00 0 obfld
5599 12538 909038 13 0.00 0.00 0.00 0 consoled
5601 151242 1723472 87 0.00 0.01 0.00 0 console_relay
5602 12546 909026 13 0.00 0.00 0.00 0 csprovider
5603 12852 909039 14 0.00 0.00 0.00 0 system_mgr_cli
5604 196160 5222663 37 0.00 0.00 0.00 0 plogd
5605 12388 909033 13 0.00 0.00 0.01 0 psdprov
5607 12635 905573 13 0.00 0.00 0.00 0 gold_slave
5609 14965 919735 16 0.00 0.00 0.19 0 osinfo-provider
5610 12666 909034 13 0.00 0.00 0.00 0 oscore_p
5611 26128 987879 26 0.00 0.00 0.00 0 netd
5614 143047 970578 147 0.00 0.00 0.00 0 licensed
5615 13057 934906 13 0.00 0.00 0.00 0 installer
5617 19188 962841 19 0.00 0.00 0.25 34816 eicored
5618 12931 938832 13 0.00 0.00 0.00 0 dtmgr
5621 37293 1738605 21 0.00 0.00 0.00 0 liin_tap
5637 13520 916538 14 0.00 0.00 0.37 0 cli_agent
5639 13333 6673767 1 0.00 0.00 0.00 0 snmp_subagent
5640 26111 1726976 15 0.00 0.00 0.00 0 erm_p
5643 21886 1726983 12 0.00 0.00 0.00 0 sysinfo_p
5657 296 14551 20 0.00 0.00 0.00 0 vman
5670 13938 1001717 13 0.00 0.00 0.00 0 licenseagentd
5671 13091 912025 14 0.00 0.00 0.00 0 iifd
5673 73948 1240936 59 0.00 0.00 0.01 0 ha_mgr
6337 22541 819083 27 0.00 0.00 0.00 0 libvirtd
7301 1 1259 1 0.00 0.00 0.00 0 tail
7339 11 1262 9 0.00 0.00 0.00 0 epc_sm_liaison
7366 0 1263 0 0.00 0.00 0.00 0 script
7373 3 1262 3 0.00 0.00 0.00 34816 sh
7673 191 1286 149 0.00 0.00 0.00 34816 rollback_timer.
7751 1 1271 0 0.00 0.00 0.00 34816 rollback_timer.
7752 63 1271 50 0.00 0.00 0.00 0 xlogger
7756 2 1276 1 0.00 0.00 0.00 34816 inotifywait
8350 90 1216 74 0.00 0.00 0.00 0 nova_sntp.sh
8449 0 1212 0 0.00 0.00 0.00 0 nova_sntp.sh
8450 32 1212 26 0.00 0.00 0.00 0 xlogger
8453 3 1217 2 0.00 0.00 0.00 0 sntp
18146 0 228 3 0.00 0.00 0.00 0 flush-8:0
19009 1 83147 0 0.00 0.00 0.00 0 sleep
19011 1 249923 0 0.00 0.00 0.00 0 sleep
19013 1 1272658 0 0.00 0.00 0.00 0 sleep
配置文件过长,保存成txt在压缩包了