请选择 进入手机版 | 继续访问电脑版

设为首页 收藏本站
思科服务支持社区 点击关注
思科服务支持社区

  
 找回密码
 立即注册

扫一扫,访问微社区

搜索
热搜: 邮件服务器
查看: 999|回复: 1

【原创故障案例分享】Server learned incorrect GW MAC, inter-vlan traffic down

[复制链接]
发表于 2018-5-26 10:58:52 | 显示全部楼层 |阅读模式
本帖最后由 fushuang 于 2018-5-26 11:00 编辑

##以下是简化的拓扑:
server1(192.168.1.65) -- switch1(L3: 192.168.100.2) –100G fiber-- Po20(L3: 192.168.100.1) N7K Po100 == back-to-back vpc == n5k --- server2(192.168.30.10)

## 问题现象
server1 与 server2 无法通信;
server1, server2 都能够 ping N7K/GateWay.

##Debug:
1、 确认 N7K 的网段,SVI 220 在192.168.30.x/24,;去往 192.168.1.x,是通过默认路由指向switch1
show ip inter bri | in 192.168.30, 快速找到N7K 对应此网段的 SVI
show ip route 192.168.1.0, 查找去往此网段的路由
show ip arp detail x.x.x.x // 查找 IP - MAC - interface 对应关系
show mac address | in E.E.E // 查找 MAC 信息

2、 192.168.1.65 ping 网关 N7K-1 SVI 220, 在 N7K-1抓包,确认 icmp request/reply 报文的源头、目的 MAC address, icmp request Ethernet II, Src: fc:e3:3c:xx:xx.xx,fc:e3:3c:xx:xx.xx 是switch1 的100G 接口 MAC,正确。
3、 192.168.1.65 ping 192.168.30.10, 在 N7K 抓icmp request 报文,首先需要确认 ingress/egress 接口,以及 N7K 是否正确修改数据包的 MAC(此报文需要 L3转发,所以 N7K 会修改二层报头信息)
N7K# source sys/elame.tcl 192.168.30.10 int e4/1 // 192.168.30.10 是目的 IP
... destination 192.168.30.10
+++ packet ingressed via interface Po20
+++ IPv4 packet: 102 bytes from MAC fce3.3cxx.xxxx / IP 192.168.1.65 to MAC 00de.fbyy.yyyy / IP 192.168.30.10
+++ protocol ICMP
+++ packet is sent to Po104 on vlan 220
4、 通过对比,发现报文会从 Po20进入,从Po104 出去,正确
5、192.168.1.65 ping 192.168.30.10, 在 N7K 抓icmp  reply 报文,以确认 192.168.30.10是否收到 request, 以及如果收到,是否会有回复
N7K# source sys/elame.tcl 192.168.30.10 192.168.1.65 // 192.168.1.65 是目的 IP
... source 192.168.30.10, destination 192.168.1.65
+++ packet ingressed via interface Po104
+++ IPv4 packet: 102 bytes from MAC 7858.603e.9144 / IP 192.168.30.10 to MAC 7858.603e.9560 / IP 192.168.1.65
+++ protocol ICMP
!!! Flanker capture analysis is preliminary...
+++ packet received on interface Po104 vlan 220 (source index 0xe07)
+++ packet is sent to Po106 on vlan 220

6、 通过对比发现,192.168.30.10 收到了ping request, 并且回复了 ping reply.
7、 但是192.168.30.10回复的报文中,destination mac 信息错误,正确的 destination mac 是0000:0c07:acdc, 此 MAC 是 N7K HSRP group 220 的虚拟 IP使用的 virtual mac.
N7K 收到报文,依据 MAC 地址表,发现去往7858.603e.9560 应该送出 Po106, 相当于 ping reply 报文被送去错误的接口。
N7K# show mac add | in 9560
        * 220      7858.603e.9560    dynamic     ~~~      F    F  Po106
请注意 N7K 在这里的行为并没有问题,依据 mac/arp 去转发。是原始 ping reply 报文使用了错误的信息。
        
8、 通过在192.168.30.10 server,手动绑定静态 MAC, arp -s 192.168.30.1 0000:0c07:acdc,问题解决
9、 经过客户测试,192.168.30.x server去 ping N7K SVI220实际地址,可以得到正确的 ARP 条目;
如果 ping HSRP 虚拟地址 192.168.30.1,就会得到错误的 ARP 条目。
怀疑是网络中有设备在用192.168.30.1 并且能够比 N7K更快去回复 ARP。于是修改 N7K HSRP 220的虚拟 IP 为 192.168.30.8,使用 server 去 ping  192.168.30.8, 可以得到正确的 ARP 信息。

##结论:
可能原因是192.168.30.1 这个 IP 被错误的占用,N7K 只是将问题暴露出来。


  • 1
  • 2
  • 3
  • 4
  • 5
  • 1
  • 2
  • 3
  • 4
  • 5
平均得分4 (2 评价)
发表于 2018-6-16 16:08:16 | 显示全部楼层
故障处理过程很详细,感谢楼主分享
  • 1
  • 2
  • 3
  • 4
  • 5
  • 1
  • 2
  • 3
  • 4
  • 5
平均得分0 (0 评价)
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver | 思科服务支持社区  

GMT+8, 2018-9-22 04:27 , Processed in 0.090488 second(s), 32 queries .

京ICP备09041801号-187

版权所有 :copyright:1992-2019 思科系统  重要声明 | 保密声明 | 隐私权政策 | 商标 |

快速回复 返回顶部 返回列表