中超客场积分榜  |  通信人家園

技術
2019/4/2 14:49

中超风云礼包兑换码:基于人工智能的網絡告警關聯分析處理的應用

郵電設計技術  陸斌 華楠 鄭小平 陳文軍

中超客场积分榜 www.dwvekz.com.cn 1  概述

隨著通信網絡近些年的快速發展,其規模已經相當龐大,在網絡中每天都會產生告警信息,并且這些信息數據量龐大、突發故障多,當網絡設備出現故障并引發告警時,與它關聯的設備也會引發相應的故障,并在短時間內產生大量告警信息[1-2]。由于一個故障的產生往往會引發多個告警事件,與故障相關的設備以及業務過程都會發出相關的告警信息,同時多個故障引發的告警信息會疊加到一起,把真正的告警信息淹沒在里面,導致故障識別十分困難。當前網絡告警的監控和管理主要依靠人工完成,網絡運營維護成本高昂,處理過程十分耗時,在發生大量故障告警時基本不能滿足告警處理的實時性要求。

告警相關性分析是網絡故障診斷的重要方法之一,告警相關性分析采用的方法有很多,例如基于規則的告警相關性分析、基于事例的告警相關性分析、基于因果模型的相關性分析、基于神經網絡的相關性分析等。但是這些方法都存在一定的缺點,例如基于事例的方法對于網絡變化處理反映不敏感,這是因為它由特定應用領域決定,而不存在一個各個領域通用的事例,基于規則的方法難以適應大規模和技術復雜的通信網絡模型,這是因為它需要人工來維護大量告警規則。目前我國的綜合網絡管理市場上,大部分相關產品,都提出了告警相關性分析的支持功能,也有部分公司表明其產品實現了告警相關性的分析,但其實只是實現了一些比較基礎的告警過濾、告警規避等功能,規則的生成有待進一步實驗研究[3-7]。

本文提出一種使用規則挖掘及基于規則的關聯方法[8],主要是將當前告警系統領域的告警知識包含在一組規則集合中,通過對檢測到的告警進行判定,并使用相應的推理規則來分類一個或者多個告警的發生是否符合某一個規則,進而確定具體的故障類型[9]。其工作原理主要是依賴于規則庫和推理引擎。在規則庫中將很多實踐中獲取的知識通過適當編碼形成IF-THEN式的規則,遞歸向下匹配規則,定位最終的故障源。當發生新的告警時,系統將啟用推理引擎來對告警進行處理。這種方法表現形式單一、直觀,所以不需要長時間的培訓學習,也不需要了解網絡的底層架構,就可以定位網絡中發生的故障。

2  網絡告警分析處理系統設計

告警分析處理分為2個階段:告警規則挖掘階段、告警分析處理階段。告警規則挖掘階段是為了實現基于歷史告警數據的大數據分析,從歷史數據中獲得告警之間的關聯規則,形成規則數據庫;告警分析處理階段目的是基于所獲得的規則數據庫中的關聯規則,對網絡中的當前告警進行分析和處理,獲得當前告警中的根源告警及衍生告警。

告警規則挖掘階段采用離線處理的方式,對歷史數據進行分析和挖掘,不要求實時性。初次部署時,獲取大量網絡歷史告警,進行規則挖掘初始化,形成規則數據庫,在網絡中部署后,采用定期挖掘規則的形式,對規則數據庫進行增量更新和補充。

告警分析處理階段采用在線處理的方式,對當前告警進行處理,要求實時性。在軟件部署后,便通過網管后臺接口與網管進行通信,實時對網絡告警進行處理。

圖1給出了告警分析處理系統總體架構。

2.1  告警數據統計分析

本文對網絡告警類型出現頻次做了初步統計,如圖2所示。從分布圖可以看出,告警信息集中在少數幾種類型中,例如PK_LOS,RCONTEXT_PACKET_LOS,VP_RDI,RCONTEXT_PACKET_LOS,E1_AIS等告警類型占據了約90%以上的信息,而M_BCFGRDIF,VP_MMG,MANUAL_SWITCH等告警類型所占比例遠遠小于1%,告警類型不均勻分布給后期的分析處理帶來了極大的挑戰。

圖2 告警類型頻次分布圖

2.2  告警規則挖掘階段

告警規則挖掘階段的示意圖如圖3所示。

圖3 告警規則挖掘

a) 由IPRAN的網管系統導出歷史告警數據文件,作為規則挖掘所學習的數據。

b) 數據預處理,讀取歷史告警數據后,檢測所有數據的有效性,篩除其中無效數據,并對告警數據進行編碼,導入到告警數據庫中;告警數據庫中同時導入網絡拓撲、業務信息、告警層次信息等。

c) 數據聚類,從告警數據庫中提取出聚類所需數據關鍵字段,進一步實現對告警數據的聚類,將數據在時域和地理位置進行劃分。

d) 規則挖掘,獲取聚類結果,同時從告警數據庫中提取告警數據,對每一簇告警數據進行關聯分析,實現規則挖掘。

e) 將挖掘出的規則導入到告警數據庫中,經過專家的人工干預,實現有效規則的篩選。

2.3  告警分析處理階段

圖4給出了告警分析處理。

a) 由IPRAN的網管系統經過后臺接口,將數據傳入數據接口中。

b) 數據接口讀取到當前告警數據后,經相應處理導入到告警數據庫中;告警數據庫中同時導入網絡拓撲、業務信息、告警層次信息等。

c) 數據聚類從告警數據庫中提取出帶分析告警數據的關鍵字段,進一步實現對當前告警數據的聚類,將數據在時域和地理位置進行劃分。

d) 告警處理分析,獲取聚類結果,同時從告警數據庫中提取告警數據。從規則數據庫中遍歷所有告警規則,對每一簇告警數據進行分析,得到根源告警,實現告警壓縮。

3  網絡告警關聯分析處理方法

3.1  數據聚類

聚類屬于無監督的機器學習方式。聚類根據未知標簽樣本的數據集內部的數據特征,將數據集劃分成多個不同的類,使得同一類的數據樣本盡可能地相似,不同類的數據樣本之間相似度盡可能地小。傳統的關聯規則分析在統計告警信息時,往往是用時間硬滑窗之后再進行統計,但是時間硬滑窗不能充分利用信息,有可能把過多的告警放入一個類,或者把本來屬于同一個故障的告警切成了不同的類,這樣就會把不同根源告警及其衍生告警混淆到一起,統計結果精確度不夠,所以提出先對告警信息聚類,根據告警信息的數據屬性把不同的根源告警及其衍生告警區分開來,即每一類代表一個根源告警及其衍生告警,然后再做關聯規則分析,精確度能提高。實驗中主要做了聚類方案,基于地點和時間的信息聚類(見圖5)。

圖5 聚類示意圖

基于地點和時間信息聚類:利用準確的地點信息(例如網元),對告警數據進行“硬劃分”;利用告警的開始時間及結束時間,使用DBSCAN算法[10-11]在時間維度進行聚類。

3.2  規則挖掘

規則挖掘的方案設計如圖6所示。

告警規則挖掘主要分為3個過程,首先是由聚類結果生成告警關聯矩陣(ACM——Alarm Correlation Matrix)[13-15],然后從告警關聯矩陣中挖掘出潛在規則,通過設置閾值過濾或者人工干預的手段,得到有效的告警規則。下面針對上述3個過程進行詳細描述。

3.2.1  聚類結果生成告警關聯矩陣

對海量告警信息進行聚類之后,在聚類結果中挖掘告警信息之間的關系。挖掘2個告警之間的關系時,使用2個評價指標:支持度和置信度。支持度指的是有序告警對(a→b)在聚類結果中出現的次數,即關聯頻次。置信度指的是在告警a出現的前提下,告警b接著出現的條件概率。同時,還定義了后件置信度,后件置信度的提出是為了解決置信度忽略規則后件中項集的支持度,前件置信度a→b統計結果100%,則說明有a就一定有b,后件置信度為100%,就說明b前面一定有a,當前件置信度很低,但是后件置信度很高時,認為規則a→b也是有效的。所以引入了后件置信度[12],即在告警b被發現的前提下,告警b由告警a導致的條件概率。支持度可以用來衡量有序告警對(a→b)出現是否頻繁,而置信度和后件置信度則用來說明有序告警對(a→b)之間的關聯強度。置信度和后件置信度越高,說明有序告警對(a→b)之間的關聯強度越大。

得到了聚類結果之后,在聚類結果中分別統計支持度、置信度、后件置信度。統計完成之后,可以得到3個告警關聯矩陣,在這個方陣中,元素的行代號代表在前的告警,元素的列代號代表在后的告警。如表1紅色數字所示,代表的是04告警→02告警的支持度。

表1 告警關聯矩陣示意圖

3.2.2  告警關聯矩陣挖掘潛在規則

告警關聯矩陣中信息較多,為了篩選出潛在的規則,定義2個參數:衍生強度derive和后件衍生強度bderive,用來衡量有序告警對(a→b)的衍生強度。衍生強度和后件衍生強度的公式如下。

衍生強度和后件衍生強度基于的假設是:告警之間不能兩兩互推,如果存在(a→b),就不存在(b→a)。如果衍生強度或者后件衍生強度大于1,則a→b要比 b→a更加可信,更加符合統計規則。

從式(1)和(2)中可以看出,告警之間的自推是沒有的,因為derivea→b和bderivea→b都會等于1,會被過濾掉。根據上述的原則,可以得到潛在的告警關聯規則。置信度包括后件置信度說明的是a→b的關聯強度,值越大說明關聯強度越大。但并不能完全說明a能推導出b,因為在這種情況下b→a的置信度包括后件置信度也有可能很高。為了避免一部分有效的規則被過濾掉,在由告警關聯矩陣挖掘潛在高級規則時,算法當中的一些閾值可以設定得低一些,那么得到的潛在規則就會相應地多一些。

3.2.3  設置閾值過濾及人工干預得到有效規則

在得到潛在規則之后,通過進一步設置閾值過濾或者人工干預得到有效的規則。通過人工檢查可以將一部分錯誤的告警規則剔除,進一步提高告警規則的準確度。

在實際應用中,潛在的告警規則規??贍芑岜冉洗?,人工的檢查工作量很大。為了降低人工檢查的工作量,可以將閾值提高,進一步縮小潛在的告警規則規模。但是閾值提高越多,被剔除的有效規則也就越多,需要對兩者進行權衡。

3.3  告警處理分析

告警處理分析采用先聚類后過濾的處理方法,具體的處理分析步驟分為:

a) 根據有效的關聯規則,形成告警關系層級和根源衍生告警關系。

b) 根據聚類后的告警數據,對每一條告警判斷其是否與其根源告警并存,若有則該告警被排除,若不是則該告警保留,直至遍歷所有告警數據后得到根源告警數據集。

c) 將被排除的衍生告警添加標記,將根源告警添加標記后上報網管實現進一步過濾。

得到了一系列的有效規則之后,按照有序的順序把這些告警標出來,就會得到一個有向圖。

3.4  告警處理分析示例

告警分析處理,輸入是一系列的告警,這些告警經過了聚類的處理,將同一個故障引起的告警盡可能地放在一個聚類中。在仿真過程中使用的樣本數據如表2所示。

表2 告警數據樣本

根據告警信息的時間屬性進行聚類,得到如表3所示結果。

表3 聚類結果

然后根據規則樹對不同類中的告警信息判斷根源告警和衍生告警,規則樹是在告警規則挖掘階段根據正確規則產生的,每個節點表示告警類型,例如VP_LOC,VC_LOC等,節點之間的有向線段VP_LOC [→] VC_LOC 表示告警VP_LOC可以導致告警VC_LOC產生,如圖7所示。

圖7 根據正確規則描繪的規則樹

根據規則樹挖掘的最終結果如表4所示。

4  結束語

告警信息體量已經達到了大數據規模,處理方法也應該與時俱進。本文提出的聚類方法進行規則挖掘,基于規則的關聯分析對網絡告警信息的分析處理適應了告警信息體量劇增的現象。網絡告警信息處理的問題已經無法單純依靠人工來解決,必須結合人工智能的方法來處理,這也提出了更高要求。

參考文獻:

[1]    鄧歆,孟洛明.智能分布式通信網告警相關性模型及實現[J]. 電子與信息學報,2006,28(10):1902-1905

[2]    朱秋艷.基于關聯規則挖掘的網絡告警關聯[D]. 北京:北京郵電大學,2008.

[3]   于漫.電信網絡智能化告警系統研究與實現[D]. 長春:長春工業大學,2010.

[4]   黃宇.關聯規則分析在電信告警系統中的研究與應用[D]. 成都:電子科學技術大學,2007.

[5]   王仲佳.具有動態加權特性的關聯規則算法及其在電信故障告警序列模式發掘中的應用[D]. 長春:吉林大學,2005.

[6]   楊一兵.移動通信網絡告警及其關聯分析[D]. 哈爾濱:哈爾濱工程大學,2008.

[7]    劉斌.移動通信網絡故障告警關聯分析方法與系統實現[D]. 長沙:中南大學,2009.

[8]    HARRISON K A. Event Correlation in Telecommunication Network Management[Z]. INCL HP Labs,1994.

[9]    STERRITT R,BUSTARD D,MCCREA A . Autonomic computing correlation for fault management system evolution[C]// IEEE International Conference on Industrial Informatics. IEEE,2003.

[10]  ESTER M,KRIEGEL H P,XU X. A density-based algorithm for discovering clusters a density-based algorithm for discovering clusters in large spatial databases with noise[C]// International Conference on Knowledge Discovery and Data Mining. AAAI Press,1996:226-231.

[11]  OLIVEIRA D P D,JR J H G,SOIBELMAN L . A density-based spatial clustering approach for defining local indicators of drinking water distribution pipe breakage[J]. Advanced Engineering Informatics,2011,25(2):380-389.

[12]  ZHU B,GHORBANI A A. Alert Correlation for Extracting AttackStrategies[J]. International Journal of Network Security,2006,3(3):244-258.

[13]  SKINNER K,VALDES A. Probabilistic Alert Correlation[J]. Proceedings of Recent Advances inIntrusion Detection,4th International Symposium,(RAID 2001),LNCS2212:54-68.

[14] A Toolkit for Intrusion Alert Analysis[EB/OL].[2018-08-11]. http://discovery.csc.ncsu.edu/software/correlator/ver0.4/index.html.

[15]  NING P,CUI Y. An Intrusion Alert Correlator Based on Prerequisites of Intrusions[M]. North Carolina State University at Raleigh,2002.

作者簡介:

陸斌,清華大學碩士在讀,主要從事光網絡方面的研究;華楠,畢業清華大學,副研究員,碩士生導師,主要從事智能光網絡管控及交換方面的研究;鄭小平,畢業于清華大學,教授,博士生導師,面向國家寬帶信息網絡發展的重大需求,長期致力全光通信網絡與微波光子學的研究;陳文軍,工程師,研究領域為IPRAN設備4G、5G業務承載方案,對于IPRAN網絡業務部署、告警產生機制、設備業務告警關聯分析有深入了解 中超客场积分榜

給作者點贊
0 VS 0
寫得不太好

免責聲明:本文僅代表作者個人觀點,與C114通信網無關。其原創性以及文中陳述文字和內容未經本站證實,對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,并請自行核實相關內容。

熱門文章
    最新視頻
    為您推薦

      C114簡介 | 聯系我們 | 網站地圖 | 手機版

      Copyright©1999-2019 c114 All Rights Reserved | 滬ICP備12002291號

      C114 通信網 版權所有 舉報電話:021-54451141