復(fù)雜事件處理(CEP,Complex Event Processing)是一項(xiàng)針對(duì)動(dòng)態(tài)事件流進(jìn)行實(shí)時(shí)分析、復(fù)雜模式識(shí)別及關(guān)聯(lián)性推理的技術(shù),廣泛適用于處理海量實(shí)時(shí)數(shù)據(jù)、挖掘事件間深層關(guān)聯(lián)的場(chǎng)景。例如:銀行交易反欺詐挖掘、高頻交易策略?xún)?yōu)化等場(chǎng)景,在這些場(chǎng)景中,系統(tǒng)通過(guò)在海量事件中基于復(fù)雜規(guī)則(如特征、上下文、時(shí)序關(guān)系、因果關(guān)聯(lián)等)識(shí)別并聚合成高層次事件。
以具體案例為例:用戶(hù)A在上海凌晨通過(guò)手機(jī)支付1萬(wàn)元(原子事件1),同時(shí)其銀行卡在深圳ATM機(jī)嘗試取現(xiàn)5萬(wàn)元(原子事件2),系統(tǒng)基于“地理位置+時(shí)間突變+超額交易”的規(guī)則,將其識(shí)別為“盜刷風(fēng)險(xiǎn)”這一高層次復(fù)合事件,而這種技術(shù)同樣非常適用于IT運(yùn)維中的告警管理場(chǎng)景。
我們先回顧一下告警管理,由于國(guó)外術(shù)語(yǔ)翻譯的差異,告警管理中的幾個(gè)核心概念常被混淆:
1)Event
指系統(tǒng)中發(fā)生的任何可觀察到的變化 ,是最基礎(chǔ)的概念,比如服務(wù)器CPU使用率發(fā)生了變化,一般是有監(jiān)控系統(tǒng)產(chǎn)生的,數(shù)量最多但是富含的信息也是最豐富的。
2)Alert
數(shù)據(jù)邏輯上是Event的聚合,是運(yùn)維人員最常處理的對(duì)象,它意味著某個(gè)IT對(duì)象出現(xiàn)了問(wèn)題,需要進(jìn)行關(guān)注,這里我們其實(shí)需要告警系統(tǒng)不應(yīng)單純將超過(guò)閾值的Event直接升級(jí)為Alert并通知,而是需將相關(guān)聯(lián)的Event合理聚合為Alert,以助力后續(xù)問(wèn)題排查。
3)Incident
已經(jīng)影響或者可能影響服務(wù)的運(yùn)行了,我們需要將這個(gè)事故有關(guān)的信息(Alert、Event)聚合在一起,拉上相關(guān)的人員共同處理問(wèn)題,這是一個(gè)高級(jí)場(chǎng)景事件的識(shí)別與管理維度的結(jié)合。
在CEP的邏輯中,是通過(guò)規(guī)則的方式來(lái)描述與聚合,將原子事件挖掘與指向到系統(tǒng)中更加高級(jí)別的活動(dòng),而這個(gè)規(guī)則有幾個(gè)核心:事件類(lèi)型、事件模式規(guī)則、動(dòng)作。其中事件之間普遍的關(guān)系分三種:
(1)下面舉一個(gè)例子
“若Web服務(wù)器發(fā)生‘連接超時(shí)’告警(原子事件),且負(fù)載均衡器同步出現(xiàn)‘請(qǐng)求轉(zhuǎn)發(fā)失敗’日志(原子事件),則觸發(fā)‘服務(wù)鏈路故障’復(fù)合事件”。
從中可以看到,我們可以從“低層次”且“多”的基礎(chǔ)事件中,結(jié)構(gòu)化的推斷出“高層次”且“少”的復(fù)合事件,而層次越高越接近支撐決策的信息。
我們可以驚喜的看到,嘉為藍(lán)鯨告警中心的邏輯可以按照CEP的模式進(jìn)行解釋?zhuān)婢种啤⒏婢瘔嚎s、告警處理等概念都是可以在CEP的規(guī)則模式下進(jìn)行抽象與對(duì)應(yīng)。通過(guò)CEP的理論基礎(chǔ),幫助我們通過(guò)結(jié)構(gòu)化解析IT系統(tǒng)中的 “數(shù)據(jù)噪聲”,將孤立事件轉(zhuǎn)化為可行動(dòng)的洞察,為告警管理的建設(shè)提供支撐,助力企業(yè)構(gòu)建 “監(jiān)控-分析-響應(yīng)” 的閉環(huán)自動(dòng)化體系。
嘉為藍(lán)鯨CCI持續(xù)集成平臺(tái):Matrix Job 帶你開(kāi)啟流水線(xiàn)編排 2.0 時(shí)代
查看詳細(xì)
告警管理:如何從零散事件中挖出關(guān)鍵信息
查看詳細(xì)
嘉為藍(lán)鯨CPack制品庫(kù):全新ML模型管理功能,助力AI交付與企業(yè)級(jí)DevOps實(shí)踐無(wú)縫結(jié)合
查看詳細(xì)
嘉為藍(lán)鯨WeOps:SSL/TLS證書(shū)有效期將縮短至47天,WeOps帶你輕松應(yīng)對(duì)
查看詳細(xì)
DevOps平臺(tái):構(gòu)建精細(xì)化協(xié)同體系
查看詳細(xì)
DevOps效率提升:一鍵復(fù)用!流水線(xiàn)模板重構(gòu)研發(fā)生產(chǎn)力
查看詳細(xì)
申請(qǐng)演示