胡冠楠
安科瑞電氣股份有限公司 上海嘉定 

 

摘 要：國網(wǎng)江蘇省電力有限公司（以下簡稱江蘇公司）開展云平臺建設(shè)和應(yīng)用，推進(jìn)“千臺入云、系統(tǒng)上云"的專項(xiàng)工作，為泛在電力物聯(lián)網(wǎng)的建設(shè)提供可靠的云計(jì)算服務(wù)。為提高云平臺的運(yùn)維能力，提出指標(biāo)采集和存儲、指標(biāo)分析和可視化以及實(shí)時告警技術(shù)方案，構(gòu)建物理機(jī)、平臺、存儲、應(yīng)用的體系化監(jiān)控體系，實(shí)現(xiàn)國網(wǎng)云運(yùn)行監(jiān)控和異常事件的實(shí)時告警。
關(guān)鍵詞：泛在電力物聯(lián)網(wǎng)；云計(jì)算；監(jiān)控系統(tǒng)

引言
        國家電網(wǎng)公司（以下簡稱國網(wǎng)公司）于2019年3年部署開展泛在電力物聯(lián)網(wǎng)建設(shè)。國網(wǎng)江蘇省電力有限公司（以下簡稱江蘇公司）從2018年開展云平臺建設(shè)，按照“分級分域"的原則同時開展虛擬化平臺OpenStack和容器化平臺K8s建設(shè)，通過開展“千臺入云，系統(tǒng)入云"的國網(wǎng)云建設(shè)工作，取得了巨大的成效。截止2019年8月份，國網(wǎng)云平臺已納管851臺服務(wù)器，入云212套系統(tǒng)，穩(wěn)定運(yùn)行400余天。
        江蘇公司的OpenStack 平臺采用Kolla 部署，Kubernetes（以下簡稱K8s）平臺采用Kuberspray方案部署，這兩個方案都將平臺組件部署在容器中，這種方式大幅提升了云平臺的部署效率，同時江蘇公司大力推進(jìn)應(yīng)用系統(tǒng)容器化改造工作，應(yīng)用系統(tǒng)的整體技術(shù)架構(gòu)往容器化、微服務(wù)化架構(gòu)方向轉(zhuǎn)變。
        為提升云平臺的運(yùn)維能力，本文探索針對容器化平臺組件和容器化應(yīng)用的云平臺監(jiān)控系統(tǒng)建設(shè)。容器具有無固定IP地址、數(shù)量大、運(yùn)行周期短等特點(diǎn)，采用Agent 或者Agentless 等方式采集數(shù)據(jù)的Zabbix、Naggio 等傳統(tǒng)監(jiān)控工具不能滿足要求。為此，本文尋求其他技術(shù)解決方案。文獻(xiàn)［1］和文獻(xiàn)［2］提出傳統(tǒng)方式部署的OpenStack平臺監(jiān)控工具，但是不適合容器化云平臺。文獻(xiàn)［3］和文獻(xiàn)［4］提出基于云原生開源監(jiān)控軟件Prometheus構(gòu)建云平臺監(jiān)控系統(tǒng)，開源軟件Grafana展示平臺運(yùn)行狀態(tài)，部署方式簡單，符合容器化部署云平臺的技術(shù)路線，但是沒有提出實(shí)時監(jiān)控的技術(shù)方案。文獻(xiàn)［5］提出一種基于流式計(jì)算的監(jiān)控技術(shù)，縮減指標(biāo)數(shù)據(jù)采集的時延，適用于大規(guī)模云平臺環(huán)境，但是該技術(shù)方案部署復(fù)雜。
        綜上所述，本文選擇符合容器化云平臺技術(shù)特點(diǎn)、部署簡單、開源技術(shù)主的技術(shù)方案，以Prometheus為采集服務(wù)、Grafana為監(jiān)控展現(xiàn)服務(wù)、智能巡檢平臺為告警平臺的云平臺監(jiān)控解決方案。

1、云平臺監(jiān)控方案
1.1 技術(shù)架構(gòu)
        本文組合監(jiān)控工具Prometheus、可視化工具Grafana以及智能巡檢平臺作為國網(wǎng)云的統(tǒng)一監(jiān)控系統(tǒng)，實(shí)現(xiàn)了OpenStack和K8s平臺集群的監(jiān)控全覆蓋，滿足了立體化監(jiān)控需求，總體技術(shù)架構(gòu)如圖1所示。

圖1 云平臺監(jiān)控技術(shù)架構(gòu)

        （1） 指標(biāo)采集及存儲：監(jiān)控系統(tǒng)需要有可靠的監(jiān)控后臺以及監(jiān)控代理，滿足云平臺中設(shè)備、平臺以及應(yīng)用等各個層面的指標(biāo)采集和存儲需求，選擇Prometheus 以及配套使用的相關(guān)代理作為解決方案。Prometheus系統(tǒng)采用中心化的數(shù)據(jù)采集、分析和分布式的監(jiān)控代理的設(shè)計(jì)理念，目前PrometheusG方認(rèn)證有約600個代理，覆蓋服務(wù)器、中間件、數(shù)據(jù)庫、云平臺、應(yīng)用等對象，滿足國網(wǎng)云統(tǒng)一監(jiān)控的需求。
        （2） 指標(biāo)分析和展現(xiàn)：原始的指標(biāo)展示的信息有限，無法展示平臺的運(yùn)行情況，本文設(shè)計(jì)指標(biāo)分析公式，更掌握物理節(jié)點(diǎn)資源使用情況、云平臺資源分配情況、云應(yīng)用運(yùn)行情況，同時利用Grafana等開源可視化工具，實(shí)現(xiàn)指標(biāo)的可視化展現(xiàn)。
        （3） 實(shí)時告警：除了通過指標(biāo)分析掌握平臺運(yùn)行狀態(tài)以及性能情況，本文還設(shè)計(jì)告警規(guī)則實(shí)現(xiàn)了重要異常事件的實(shí)時告警，將告警信息推送給調(diào)度運(yùn)行監(jiān)控平臺，實(shí)現(xiàn)國網(wǎng)云運(yùn)行的7×24 h監(jiān)控，保證故障的及時處置。
1.2 立體化監(jiān)控
        為采集OpenStack平臺宿主機(jī)以及集群運(yùn)行數(shù)據(jù)，研究采用node?exporter代理采集宿主機(jī)的資源運(yùn)行指標(biāo)、OpenStack?exporter代理采集平臺的運(yùn)行指標(biāo)、ceph?exporter代理采集后端分布式存儲的運(yùn)行指標(biāo)，實(shí)現(xiàn)宿主機(jī)以及平臺兩個層面的主要運(yùn)行指標(biāo)的采集。幾種OpenStack實(shí)例監(jiān)控代理的作用和部署方式如表1所示。

        為采集K8s平臺宿主機(jī)、集群以及承載的物聯(lián)網(wǎng)應(yīng)用容器運(yùn)行數(shù)據(jù)，研究采用node?exporter采集宿主機(jī)的資源運(yùn)行指標(biāo)、cAdvisor采集所有容器運(yùn)行指標(biāo)、kube?state?metrics采集所有Pod容器運(yùn)行狀態(tài)、kube?metrics 采集平臺等信息，實(shí)現(xiàn)宿主機(jī)、平臺、容器應(yīng)用3個層面的主要運(yùn)行指標(biāo)的采集幾種K8s實(shí)例監(jiān)控代理的作用和部署方式如表2所示。

1.3 運(yùn)行分析
        為掌握國網(wǎng)云的運(yùn)行情況，本文基于監(jiān)控系統(tǒng)采集的原始指標(biāo)，結(jié)合業(yè)務(wù)實(shí)際需求，開展運(yùn)行分析，設(shè)計(jì)指標(biāo)分析公式，掌握OpenStack云平臺資源分配情況、K8s平臺資源分配情況、應(yīng)用容器運(yùn)行情況，通過可視化展示工具Grafana實(shí)現(xiàn)運(yùn)行指標(biāo)的可視化展示，提升了平臺運(yùn)行分析的便捷性。以O(shè)penStack平臺運(yùn)行分析為例，OpenStack平臺主要通過整合硬件服務(wù)器資源，對外提供虛機(jī)計(jì)算資源，因此實(shí)時掌握已創(chuàng)建的虛機(jī)數(shù)量、分配的虛機(jī)CPU及內(nèi)存資源占比等信息，對指導(dǎo)平臺資源分配以及資源擴(kuò)容具有重要的幫助意義。CPU及內(nèi)存資源分配占比分別為公式（1）和公式（2）
UsageCPU = (sum(hypervisor_vcpus_used) )/(sum(hypervisor_vcpus_total) )× 100% （1）
UsageMem = (sum(hypervisor_memory_mbs_used) )/(sum(hypervisor_memory_mbs_total) )× 100% （2）
1.4 實(shí)時告警
        在實(shí)現(xiàn)監(jiān)控全覆蓋、指標(biāo)分析和可視化的基礎(chǔ)上，考慮實(shí)時告警的運(yùn)維需求，研究告警規(guī)則的配置。以O(shè)penStack 節(jié)點(diǎn)文件系統(tǒng)使用率異常為例，本文設(shè)計(jì)告警公式（3），當(dāng)監(jiān)控系統(tǒng)檢測到文件系統(tǒng)超過95%，將推送告警信息給告警平臺。
v100- (node_ filesystem_ free{mountpoint ="/"})/(node_ filesystem_size{mountpoint ="/"})×100)>95（3）
        初步梳理出10個重要告警，這些告警直接影響到平臺或者宿主機(jī)的運(yùn)行。目前配置的監(jiān)控指標(biāo)都是滿足可用性的指標(biāo)，如表3所示。

表3 云平臺告警規(guī)則

 

2、平臺監(jiān)控實(shí)踐
2.1 OpenStack平臺的監(jiān)控實(shí)踐
        江蘇公司部署有多個OpenStack集群，每個集群的設(shè)備、平臺以及服務(wù)有上百個運(yùn)行指標(biāo)采集。為保證指標(biāo)數(shù)據(jù)采集的實(shí)時性以及監(jiān)控系統(tǒng)的可靠性，江蘇按照“一集群、一監(jiān)控"的原則，采用一個Prometheus 實(shí)例監(jiān)控一個OpenStack集群的部署架構(gòu)，保證每個國網(wǎng)云實(shí)例都有獨(dú)立的監(jiān)控系統(tǒng)，降低監(jiān)控系統(tǒng)對存儲空間的需求，同時將告警信息對接至智能巡檢平臺，整體架構(gòu)如圖2。

圖2 OpenStack集群監(jiān)控架構(gòu)

        考慮宿主機(jī)監(jiān)控和OpenStack平臺監(jiān)控不同的業(yè)務(wù)需求，定制宿主機(jī)和平臺兩個維度的Grafana監(jiān)控頁面。平臺監(jiān)控面板主要展現(xiàn)平臺規(guī)模、平臺服務(wù)狀態(tài)、資源使用情況等，如圖3所示。宿主機(jī)監(jiān)控面板主要展現(xiàn)主機(jī)狀態(tài)、物理資源使用情況。不同于平臺面板統(tǒng)計(jì)的是分配資源占比，物理資源面板統(tǒng)計(jì)的是宿主機(jī)實(shí)際資源使用率。

圖3 OpenStack平臺資源監(jiān)控面板

2.2 K8s平臺的監(jiān)控實(shí)踐
        江蘇公司部署有多個K8s集群，按照“一集群、一監(jiān)控"的原則，采用一個Prometheus實(shí)例監(jiān)控一個K8s集群的部署架構(gòu)，保證每個國網(wǎng)云實(shí)例都有獨(dú)立的監(jiān)控系統(tǒng)，告警信息對接至智能巡檢平臺，整體架構(gòu)如圖4。

圖4 K8s集群監(jiān)控架構(gòu)

        考慮宿主機(jī)監(jiān)控、K8s平臺監(jiān)控以及容器應(yīng)用監(jiān)控不同的業(yè)務(wù)需求，江蘇公司將Prometheus數(shù)據(jù)接入可視化平臺Grafana，并且配置個性化監(jiān)控儀表盤，提供了宿主機(jī)、平臺、容器應(yīng)用3個維度的監(jiān)控頁面，容器應(yīng)用監(jiān)控面板如圖5所示。

圖5 K8s容器應(yīng)用監(jiān)控面板

        通過實(shí)施本文的技術(shù)方案，江蘇公司OpenStack平臺監(jiān)控系統(tǒng)實(shí)現(xiàn)了7套OpenStack、250余臺設(shè)備、2500余個虛機(jī)規(guī)模的云平臺的實(shí)時監(jiān)控，K8s平臺監(jiān)控系統(tǒng)實(shí)現(xiàn)了4套OpenStack、90余臺設(shè)備、700余個虛機(jī)規(guī)模的云平臺的實(shí)時監(jiān)控，同時具備重要告警的實(shí)時告警能力，T補(bǔ)了江蘇公司云平臺監(jiān)控的空白，為泛在電力物聯(lián)網(wǎng)應(yīng)用的運(yùn)行提供堅(jiān)強(qiáng)的運(yùn)行支撐保障。

3、安科瑞配電系統(tǒng)智能運(yùn)維產(chǎn)品選型及介紹
        近兩年來，安科瑞已經(jīng)陸續(xù)參與各縣市電力公司的用戶端能源管理平臺、云南省網(wǎng)綜合能源服務(wù)平臺、上海嘉定區(qū)147所學(xué)校電力運(yùn)維平臺等相關(guān)平臺的建設(shè)，提供了包括云平臺、智能網(wǎng)關(guān)、終端設(shè)備等產(chǎn)品，各類用戶端云平臺在全國各地運(yùn)行案例700多套，并且根據(jù)用戶需求不斷完善產(chǎn)品功能，這些都是未來泛在電力物聯(lián)網(wǎng)的一部分。
        綜合能源服務(wù)是以電為中心，把電力系統(tǒng)與天然氣網(wǎng)絡(luò)、供熱網(wǎng)絡(luò)、工業(yè)系統(tǒng)、交通系統(tǒng)、建筑系統(tǒng)等緊密結(jié)合起來，實(shí)現(xiàn)電、氣、冷、熱、可再生能源等多能互補(bǔ)和“源-網(wǎng)-荷-儲"各環(huán)節(jié)高度協(xié)調(diào)優(yōu)化，生產(chǎn)和消費(fèi)雙向互動，集中與分布相結(jié)合的能源服務(wù)。

 

        變配電站通過安裝多溫濕度傳感器，水浸傳感器，煙霧傳感器，門磁開關(guān)等傳感器，通過網(wǎng)關(guān)經(jīng)無線（3G/4G）或有線的方式將數(shù)據(jù)上傳云服務(wù)器上，并將數(shù)據(jù)進(jìn)行集中存儲、統(tǒng)一管理。具有權(quán)限的用戶可通過PC、PAD、手機(jī)等各類終端設(shè)備訪問數(shù)據(jù)、接收報(bào)警信息，監(jiān)控變配電站環(huán)境狀態(tài)。
運(yùn)維平臺功能：
        安科瑞變電所運(yùn)維云平臺（AcrelCloud-1000）根據(jù)市場需求反饋，運(yùn)用互聯(lián)網(wǎng)和大數(shù)據(jù)技術(shù)，為電力運(yùn)維公司提供配套線上運(yùn)維服務(wù)。該平臺作為連接運(yùn)維單位和用電企業(yè)的紐帶，監(jiān)視用戶配電系統(tǒng)的運(yùn)行狀態(tài)和電量數(shù)據(jù)，為客戶提供更好的運(yùn)維服務(wù)，平臺提供系統(tǒng)總覽、電力數(shù)據(jù)監(jiān)測、電能質(zhì)量分析、用電統(tǒng)計(jì)分析和日/月/年電能統(tǒng)計(jì)報(bào)表、異常預(yù)警、事故報(bào)警和事件記錄、運(yùn)行環(huán)境監(jiān)測、運(yùn)維巡檢派單等功能，并支持多平臺、多終端數(shù)據(jù)訪問。
        電力監(jiān)測
        通過矢量配電圖監(jiān)測變電所用電情況，畫面響應(yīng)遙信變位、遙測越限報(bào)警，點(diǎn)擊某個配電回路后可以查詢該配電回路的各類詳細(xì)用電參數(shù)，包括實(shí)時值、平均值；

        實(shí)時監(jiān)測變壓器運(yùn)行情況，包括功率、負(fù)荷率、需量、繞組溫度等。

        提供多種類型的查詢報(bào)表，可以查詢各配電回路的各類電力參數(shù)(電壓、電流、功率、頻率、諧波、三相不平衡度等),系統(tǒng)可以對某電力參數(shù)按照天、月進(jìn)行統(tǒng)計(jì)。

        可實(shí)現(xiàn)漏電監(jiān)測、線纜及母排溫度監(jiān)測。

 

        故障報(bào)警
        平臺可配置遙信變位報(bào)警（水浸、煙霧、門磁、開關(guān)跳閘等）、遙測越限報(bào)警（過壓、欠壓、過流、線纜溫度過高、繞組溫度過高等）、運(yùn)行報(bào)警（儀表離線、網(wǎng)關(guān)離線等），并將接收到的報(bào)警通過短信、網(wǎng)頁推送，報(bào)警上下限可根據(jù)現(xiàn)場情況靈活配置。

        能效分析
        按照配電回路、區(qū)域、部門、分項(xiàng)（照明、空調(diào)、動力等）統(tǒng)計(jì)每時、每天、每月、每年用電數(shù)據(jù)，并進(jìn)行同環(huán)比分析；

        按尖、峰、平、谷統(tǒng)計(jì)各配電回路的用電量及用電金額； 

        統(tǒng)計(jì)四象限電能并計(jì)算每天、每月的平均功率因數(shù)；

        按月統(tǒng)計(jì)每個回路的需量及發(fā)生值，為需量申報(bào)提供依據(jù)。

 

        設(shè)備檔案
        系統(tǒng)可配置每個變電所內(nèi)變壓器、進(jìn)線柜、出線柜、計(jì)量柜、高壓電纜等設(shè)備信息，記錄設(shè)備的廠家、型號、投運(yùn)日期等，并可靈活定義設(shè)備的巡檢項(xiàng)、缺陷類別等信息。

 

        巡檢消缺 
        通過系統(tǒng)編制巡檢計(jì)劃，并將計(jì)劃下發(fā)到巡檢人員手機(jī)上，巡檢人員在變電所現(xiàn)場根據(jù)巡檢要求執(zhí)行巡檢任務(wù)，如果在巡檢過程中發(fā)現(xiàn)缺陷，可記錄缺陷并在系統(tǒng)中生成消缺任務(wù)。
?用戶報(bào)告

 

        手機(jī)APP
        通過手機(jī)APP實(shí)現(xiàn)配電圖查看、視頻監(jiān)視及回放、電力參數(shù)查詢、需量統(tǒng)計(jì)、用能分析，并可通過手機(jī)接收報(bào)警、執(zhí)行巡檢、記錄缺陷.

4、結(jié)語
本文實(shí)現(xiàn)江蘇公司國網(wǎng)云宿主機(jī)、OpenStack平臺服務(wù)、K8s平臺服務(wù)以及K8s容器應(yīng)用等主要運(yùn)維對象的監(jiān)控，覆蓋了設(shè)備層、平臺層和應(yīng)用層，并且實(shí)現(xiàn)了重要指標(biāo)的采集和展示，幫助運(yùn)維人員分析運(yùn)行健康狀態(tài)，同時通過告警規(guī)則的配置，實(shí)現(xiàn)了重要運(yùn)行指標(biāo)的7×24 h監(jiān)控，大大提升了云平臺故障處置效率，為泛在電力物聯(lián)網(wǎng)的大規(guī)模建設(shè)和應(yīng)用提供可靠的、持續(xù)的計(jì)算、存儲和網(wǎng)絡(luò)資源服務(wù)。
本文設(shè)計(jì)的方案主要實(shí)現(xiàn)OpenStack和K8s云平臺資源使用和可用狀態(tài)的監(jiān)控，暫不具備監(jiān)控云平臺運(yùn)行性能和判斷平臺故障點(diǎn)的能力。因此，對云平臺核心組件運(yùn)行性能和運(yùn)行日志的分析將是下一步研究的主要工作。

參考文獻(xiàn)
【1】董波，沈青，肖德寶. 云計(jì)算集群服務(wù)器系統(tǒng)監(jiān)控方法的研究［J］計(jì)算機(jī)工程與科學(xué).
【2】鄒昊東,丁正陽,滕愛國,韋健.省級泛在電力物聯(lián)網(wǎng)云平臺監(jiān)控系統(tǒng)建設(shè)實(shí)踐.
【3】安科瑞企業(yè)微電網(wǎng)設(shè)計(jì)及應(yīng)用手冊.2020.06版