客户数通产品排障过程中,发现USG6655E防火墙CPU飙高!
第一步:
检查发现防火墙双机主备部署,防火墙与上下行交换机通过vlanif互联,当前主备状态运行正常;
第二步:
查看防火墙无异常日志及告警,但备墙接口流量异常飙高
第三步:
在上行交换机CE12808查看日志。发现存在vlan 16下mac漂移告警,告警显示mac表项对应接口频繁在主备间墙切换,初步判断为二层环路引起。
第四步:
经与云平台同事确认当前vlan 16是现场业务环境需要在上下行交换机与防火墙间二层透传vlan16。
第五步:
通过建立问题单咨询服务支持得知:上下行交换机均为堆叠场景,使得vlan16的业务流量在上下行交换机间形成环路,从而造成CPU资源占用超过阈值。
处理结果:
在防火墙上配置hrp track vlan 16后使得mac表项只由主墙进行转发后,接口流量计CPU占用恢复正常。
根因
在防火墙上下行连接交换机二三层混跑模式下未track链路中放通的二层vlan造成网络环路
解决方案
防火墙上下行连接交换机需要同时track链路中放通的二层vlan
建议与总结
在排障过程中,发现防火墙双机主备状态正常并且无异常告警,该状态是基于现网hrp track防火墙与上下行交换机互联vlanif接口选举出来的,基于该状态下再在链路中放通其它vlan时也必须配置hrp track新增vlan,避免新增vlan下mac表项同时被主备墙转发至上下行交换机造成二层环路。