案例背景

某中型企業(yè)（員工約500人）核心網絡架構為典型的三層結構：接入層、匯聚層和核心層。核心交換機采用雙機熱備（VRRP），通過萬兆光纖上聯(lián)至防火墻，再連接至互聯(lián)網。接入層交換機通過千兆電口連接用戶終端。企業(yè)主要業(yè)務包括OA系統(tǒng)、ERP系統(tǒng)、視頻會議及日常互聯(lián)網訪問。

故障現象

2021年10月26日上午9:15，企業(yè)員工普遍反映訪問內部OA系統(tǒng)和ERP系統(tǒng)緩慢，視頻會議頻繁卡頓，但訪問外部互聯(lián)網網站（如新聞門戶）速度正常。網絡監(jiān)控系統(tǒng)顯示核心交換機CPU利用率在高峰時段達到85%，端口流量存在異常波動。

問題分析

1. 故障范圍界定：問題集中于內部業(yè)務系統(tǒng)，外部訪問正常，初步排除互聯(lián)網出口帶寬或外部鏈路故障，焦點應放在內部網絡和數據中心區(qū)域。
2. 可能原因排查：

• 帶寬瓶頸：檢查核心與匯聚鏈路利用率，特別是連接服務器區(qū)域的端口。

• 設備性能：高CPU利用率可能由廣播風暴、路由振蕩或硬件故障引起。

• 應用層問題：OA/ERP服務器自身負載或數據庫查詢效率低下。

• 網絡環(huán)路：STP協(xié)議收斂問題或配置錯誤導致臨時環(huán)路。

• 安全事件：內部網絡存在掃描或DoS攻擊消耗資源。

1. 數據收集：

• 通過SNMP或CLI檢查核心交換機端口流量、錯誤幀、廣播包計數。

• 分析NetFlow/sFlow數據，識別Top Talkers及異常流量模式。

• 檢查日志中是否有MAC地址漂移、STP狀態(tài)變更記錄。

解決方案與實施

1. 緊急處置：在業(yè)務低峰期（如午休），對核心交換機進行重啟以暫時緩解CPU壓力，并備份當前配置及日志。
2. 根因定位：流量分析發(fā)現某接入交換機連接端口廣播包異常激增，進一步定位到該樓層一臺新接入的網絡打印機因驅動不兼容，持續(xù)發(fā)送畸形廣播包，導致局部廣播風暴，經匯聚層擴散至核心。
3. 故障排除：

• 隔離故障端口，斷開問題打印機網絡連接。

• 在接入交換機啟用端口級廣播風暴抑制（如設置broadcast-limit）。

• 優(yōu)化STP參數，確保快速收斂，并檢查是否存在冗余鏈路誤接。

1. 優(yōu)化措施：

• 實施網絡準入控制（如802.1X），防止未經授權或異常設備接入。

• 部署更細粒度的流量監(jiān)控與告警機制，設定CPU利用率、廣播包速率閾值。

• 對核心交換機進行固件升級，并評估未來性能擴容需求。

與反思

本次案例體現了分層排查在故障處理中的重要性：由現象（應用慢）到層面（網絡層），再聚焦于具體設備與端口。日常運維中，應加強基線數據建立（如正常流量模式、設備CPU水平），以便快速識別異常。新設備入網需有嚴格的測試與審批流程，避免兼容性問題引發(fā)全網風險。網絡工程師不僅需精通技術，更需具備系統(tǒng)化的問題分析與預防性優(yōu)化能力。