99久久99久久精品国产片果冻,粉嫩av久久一区二区三区,日本高清www午色夜com,国产成 人 综合 亚洲网站,97人妻无码一区二区精品免费

  • 頭條基于大數(shù)據(jù)的電網(wǎng)實物資產(chǎn)分析評價系統(tǒng)設(shè)計與實現(xiàn)
    2020-08-02 作者:李智威、賀蘭菲、唐學軍、韓文長、王江華  |  來源:《電氣技術(shù)》  |  點擊率:
    分享到:
    導語國網(wǎng)湖北省電力有限公司經(jīng)濟技術(shù)研究院、國網(wǎng)湖北省電力有限公司的研究人員李智威、賀蘭菲、唐學軍、韓文長、王江華,在2019年第6期《電氣技術(shù)》雜志上撰文指出,實物資產(chǎn)分析評價指通過匯集資產(chǎn)在全壽命周期各個階段的數(shù)據(jù),從規(guī)模結(jié)構(gòu)、健康水平、利用效率及退役報廢等方面進行分析,掌握實物資產(chǎn)現(xiàn)狀,從而提出實物資產(chǎn)配置、管理改進方案,最終為實現(xiàn)資產(chǎn)安全、效能、成本的綜合最優(yōu)以及提升資產(chǎn)運行效益提供科學客觀的事實依據(jù)。 本文介紹了一種基于大數(shù)據(jù)思想和ID-CROSS算法的實物資產(chǎn)分析評價系統(tǒng),利用數(shù)據(jù)解析鏈路原理,實現(xiàn)實物資產(chǎn)分析評價的指標體系、分析維度、數(shù)據(jù)來源、加工過程和展現(xiàn)。系統(tǒng)的設(shè)計與開發(fā)立足于工程實踐和系統(tǒng)成果在電網(wǎng)企業(yè)的應(yīng)用,驗證了文中設(shè)計思路的可行性和有效性。

    電網(wǎng)企業(yè)是天然的資產(chǎn)密集、技術(shù)密集型企業(yè),實物設(shè)備數(shù)量龐大、種類繁多,建設(shè)和運維管理復雜程度較高。電網(wǎng)實物資產(chǎn)主要包括架空輸電線路、電纜輸電線路、變壓器、換流設(shè)備、配電線路、配電設(shè)備、自動化控制設(shè)備及儀器儀表、生產(chǎn)管理用工器具、運輸設(shè)備、輔助生產(chǎn)設(shè)備及器具、房屋及建筑物等有關(guān)資產(chǎn)。在電網(wǎng)企業(yè)資產(chǎn)結(jié)構(gòu)中,實物資產(chǎn)所占比例高達80%以上。

    隨著電網(wǎng)投資不斷加大,電網(wǎng)企業(yè)實物資產(chǎn)規(guī)模持續(xù)增長,加強和提升電網(wǎng)實物資產(chǎn)管理水平愈加成為實現(xiàn)電網(wǎng)科學有序規(guī)劃發(fā)展、保障電網(wǎng)安全運行和提升資產(chǎn)利用效率的重要手段。在管理信息化水平快速提高、經(jīng)濟性越來越受到重視的背景下,急需實現(xiàn)由傳統(tǒng)只注重技術(shù)屬性的“設(shè)備管理”到綜合考慮價值和技術(shù)效益的“實物資產(chǎn)管理”的轉(zhuǎn)變。

    近年來,全壽命周期成本(life cycle casts, LCC)管理方法應(yīng)用逐步深入,它從項目的長期經(jīng)濟效益出發(fā),全面考慮使資產(chǎn)的全壽命周期成本最小。現(xiàn)有電網(wǎng)全壽命周期資產(chǎn)管理的研究大多圍繞管理體系、評價指標分析開展,或針對某一環(huán)節(jié)、某一具體設(shè)備提出改進的管理方法和模型。

    田洪迅等人綜合全壽命周期成本,構(gòu)建了資產(chǎn)管理決策框架體系。尤菲等人通過集對分析法建立了電網(wǎng)實物資產(chǎn)的綜合分析評價模型,實現(xiàn)定量評價和具體分析。王申華和孫袆等人基于管理實際,分析了現(xiàn)有資產(chǎn)管理評價體系的問題議。吳貴義等人在設(shè)計高壓斷路器時采用凈現(xiàn)值法(net present value, NPV)得到基準年成本,建立了以年均全壽命周期成本最小為目標的高壓斷路器經(jīng)濟壽命評估模型。劉亮等人采用工程估算法,將項目基本費用單元進行工程估算后疊加求解LCC費用,并作為輸電線路選型的依據(jù)。Zhang G等人建立了具有全壽命周期分解和成本分解結(jié)構(gòu)的全壽命周期成本綜合評價模型。

    以上學者對資產(chǎn)全壽命周期理論方法在電網(wǎng)資產(chǎn)管理方面的應(yīng)用展開了研究,推動了資產(chǎn)全壽命周期理論的深化應(yīng)用。

    隨著資產(chǎn)規(guī)模的積累,海量數(shù)據(jù)處理成為電網(wǎng)實物資產(chǎn)管理中的難題。沈園和常屹等人指出大數(shù)據(jù)技術(shù)能夠?qū)崿F(xiàn)海量數(shù)據(jù)的識別、提取、分析和處理等,在電力行業(yè)設(shè)備管理及評估方面具有戰(zhàn)略意義,但未涉及具體的實現(xiàn)方案。

    楊璽等人基于大數(shù)據(jù)技術(shù)建立了輸變電一次主設(shè)備的資產(chǎn)墻模型。王健提出智能電網(wǎng)大數(shù)據(jù)系統(tǒng)結(jié)構(gòu)設(shè)計方案。諶迅等人設(shè)計了大數(shù)據(jù)資產(chǎn)管理系統(tǒng),包括資產(chǎn)目錄及其子系統(tǒng),數(shù)據(jù)稽核規(guī)則、流程及評分辦法等模塊;大數(shù)據(jù)技術(shù)在電網(wǎng)資產(chǎn)管理中的引入和逐步深化,促進了電網(wǎng)實物資產(chǎn)定量管理。

    鑒于上述問題,本文建立了一種基于大數(shù)據(jù)技術(shù)的電網(wǎng)實物資產(chǎn)分析評級系統(tǒng)。該系統(tǒng)通過綜合運用多種大數(shù)據(jù)存儲和分析技術(shù)實現(xiàn)了海量數(shù)據(jù)的獲取、存儲、分析和展現(xiàn),提出了一種基于ID- CROSS算法實現(xiàn)的大數(shù)據(jù)定位、識別和演算,同時設(shè)計了一種數(shù)據(jù)解析鏈路,以簡化數(shù)據(jù)加工處理過程。

    該系統(tǒng)實現(xiàn)了實物資產(chǎn)分析評價過程的自動化,降低了工作難度,提高了工作效率與分析的準確性。目前,該系統(tǒng)已成功在電網(wǎng)企業(yè)應(yīng)用,并在實踐中逐步得到了完善,使系統(tǒng)具備廣泛的應(yīng)用前景,亦可為類似大數(shù)據(jù)分析系統(tǒng)提供參照。

    1 電網(wǎng)實物資產(chǎn)分析評價理論基礎(chǔ)

    電網(wǎng)實物資產(chǎn)管理的目標是實現(xiàn)電網(wǎng)實物資產(chǎn)(技術(shù))狀態(tài)準確,使資產(chǎn)賬簿(賬)、資產(chǎn)卡片(卡)、設(shè)備臺帳(物)動態(tài)一致,資產(chǎn)安全完整。電網(wǎng)實物資產(chǎn)評價工作針對資產(chǎn)管理中的核心問題,對電網(wǎng)實物資產(chǎn)規(guī)模、資產(chǎn)結(jié)構(gòu)、資產(chǎn)狀態(tài)、資產(chǎn)效率(負載)、資產(chǎn)缺陷等現(xiàn)狀進行分析,同時開展“資產(chǎn)墻”分析、設(shè)備的經(jīng)濟壽命分析。

    實物資產(chǎn)分析評價是一系列海量數(shù)據(jù)的獲取、分析和展現(xiàn)的過程。首先,確立電網(wǎng)大數(shù)據(jù)的來源,定義原始數(shù)據(jù)的來源和收集粒度;然后,建立實物資產(chǎn)分析評價指標體系,明確各指標的定義與計算方法;再次,定義實物資產(chǎn)分析維度,統(tǒng)一多來源的數(shù)據(jù)的維度值,計算相關(guān)指標;最后,設(shè)計分析評價結(jié)果的展現(xiàn)工具。

    1.1 數(shù)據(jù)來源

    實物資產(chǎn)分析評價的來源數(shù)據(jù)產(chǎn)生于建造、購置、運行、備用、維護、改造、報廢等多個環(huán)節(jié)之中。電網(wǎng)企業(yè)實物資產(chǎn)原始數(shù)據(jù)取自于多個信息化系統(tǒng),包括:

    1)工程生產(chǎn)管理系統(tǒng)(power production mangement system, PMS)2.0。該系統(tǒng)主要匯集了生產(chǎn)類的實物資產(chǎn)設(shè)備臺賬和運行數(shù)據(jù),設(shè)備臺賬記錄了資產(chǎn)的物理位置、技術(shù)型號細節(jié)、投運時間、再利用情況等信息。運行數(shù)據(jù)包括運行狀態(tài)、健康狀態(tài)和缺陷記錄,生產(chǎn)此部分數(shù)據(jù)的單位主要是區(qū)縣級公司。

    2)企業(yè)資源計劃(enterprise resource planning, ERP)系統(tǒng)。該系統(tǒng)主要匯集了實物資產(chǎn)規(guī)模、項目、費用數(shù)據(jù),資產(chǎn)規(guī)模數(shù)據(jù)包括資產(chǎn)原值、凈值和數(shù)量,項目數(shù)據(jù)包括資產(chǎn)新增、報廢退役時的項目信息,費用數(shù)據(jù)主要包括運維成本、大修搶修費用、報廢處置成本等。生產(chǎn)此部分數(shù)據(jù)的單位主要是省級公司和地市級公司。

    3)能源管理系統(tǒng)(energy management system, EMS)。該系統(tǒng)提供了主網(wǎng)變壓器的運行負載率信息。

    4)調(diào)度系統(tǒng)。該系統(tǒng)提供了4類主要輸電設(shè)備的強迫停運數(shù)據(jù)。

    5)營銷系統(tǒng)。該系統(tǒng)提供了各級電力公司的售電量數(shù)據(jù)。

    處理來源數(shù)據(jù)時需要特別注意幾個方面:①統(tǒng)一多系統(tǒng)數(shù)據(jù)的格式,在獲取數(shù)據(jù)后,將數(shù)據(jù)中的管理單位、分類編碼、電壓等級、狀態(tài)、數(shù)據(jù)時間粒度和數(shù)據(jù)單位轉(zhuǎn)為相同的編碼;②統(tǒng)一數(shù)據(jù)的統(tǒng)計口徑,避免同一資產(chǎn)數(shù)據(jù)被系統(tǒng)多次重復計數(shù);③清洗異常數(shù)據(jù),上述各類業(yè)務(wù)系統(tǒng)中由于管理、錄入等問題,難免會存在一定比例的異常數(shù)據(jù),需要在獲取后進行識別和清理。

    1.2 指標體系

    基于資產(chǎn)全壽命周期管理,構(gòu)建電網(wǎng)實物資產(chǎn)評價分析工作一覽圖,如圖1所示。通過開展電網(wǎng)實物資產(chǎn)評價,一方面為生產(chǎn)經(jīng)營的中長期規(guī)劃提供基礎(chǔ)信息,為資產(chǎn)管理的持續(xù)深化奠定基礎(chǔ),提高資產(chǎn)的利用效率和資產(chǎn)貢獻;另一方面為健康運營提供科學管理的策略,優(yōu)化電網(wǎng)各類設(shè)備資產(chǎn)配置。

    基于大數(shù)據(jù)的電網(wǎng)實物資產(chǎn)分析評價系統(tǒng)設(shè)計與實現(xiàn)

    圖1 實物資產(chǎn)分析評價工作一覽圖

    電網(wǎng)實物資產(chǎn)評價分析內(nèi)容分為5部分,即資產(chǎn)規(guī)模結(jié)構(gòu)、資產(chǎn)健康水平、資產(chǎn)利用效率和資產(chǎn)退役報廢分析。指標體系是建立在以評價維度為主線的基礎(chǔ)之上,對評價維度的深化與豐富?;凇叭宕蟆斌w系建設(shè)成果,針對評價的四大維度搭建指標體系,如圖2所示。

    該指標體系基于LCC的思想構(gòu)建,考慮了資產(chǎn)從采購轉(zhuǎn)資到報廢各個環(huán)節(jié)的關(guān)鍵因素。

    1)資產(chǎn)結(jié)構(gòu)。指對電網(wǎng)實物資產(chǎn)的存量、增量從價值規(guī)模和技術(shù)規(guī)??趶竭M行分析,能夠反映企業(yè)擁有資產(chǎn)的數(shù)量和質(zhì)量。

    基于大數(shù)據(jù)的電網(wǎng)實物資產(chǎn)分析評價系統(tǒng)設(shè)計與實現(xiàn)

    圖2 實物資產(chǎn)分析評價體系

    2)利用效率。指對電網(wǎng)實物其處于運行階段實物資產(chǎn)的運行效率進行分析。通過對利用效率分析,可以了解資產(chǎn)整體利用狀況及單體運行效率,為資產(chǎn)配置優(yōu)化和提升效率提供數(shù)據(jù)支撐。

    3)健康水平。指對電網(wǎng)實物資產(chǎn)的缺陷以及強迫停運情況進行分析。

    4)退役報廢。指對電網(wǎng)實物資產(chǎn)中退役報廢資產(chǎn)的價值規(guī)模水平、處置況以及成因進行分析。

    1.3 分析維度

    分析維度是相關(guān)對象(稱為屬性)的集合,用于提供有關(guān)一個或多個多維數(shù)據(jù)集中的事實數(shù)據(jù)的信息。在實物資產(chǎn)分析評價中,主要的分析維度包括地區(qū)、公司、年份、資產(chǎn)類型、電壓等級、缺陷資產(chǎn)分類、缺陷部位、缺陷責任原因、缺陷技術(shù)原因、再利用與備品備件資產(chǎn)分類等基本維度:

    ①單位維度,是指實物資產(chǎn)的歸屬單位,在部分系統(tǒng)中稱之為利潤中心;

    ②資產(chǎn)類型,是指實物資產(chǎn)在電網(wǎng)中所屬的分類;

    ③電壓等級,是指電網(wǎng)運行中所采用的額定電壓等級,包括交流與直流2類;

    ④缺陷部分,是指主變壓器、斷路器、隔離開關(guān)等19類主要運行設(shè)備常見缺陷所發(fā)生的部位;

    ⑤缺陷原因,是指19類主要運行設(shè)備缺陷產(chǎn)生的具體責任原因和技術(shù)原因。

    實物資產(chǎn)分析評價的展現(xiàn)方法主要是基于圖表的多維度對比展現(xiàn),如圖3所示。通過對實物資產(chǎn)進行多維度的分析,充分地了解整體資產(chǎn)的價值規(guī)模和數(shù)量規(guī)模,對資產(chǎn)目前的利用狀態(tài)、健康狀態(tài)和退役報廢情況有一個清晰的認識,并且依據(jù)獲取的多維數(shù)據(jù),開展應(yīng)用設(shè)計,深度挖掘資產(chǎn)關(guān)聯(lián)趨勢和深層次問題,從而為公司未來決策提供可靠的支持。

    基于大數(shù)據(jù)的電網(wǎng)實物資產(chǎn)分析評價系統(tǒng)設(shè)計與實現(xiàn)

    圖3 實物資產(chǎn)分析評價展現(xiàn)過程

    2 系統(tǒng)需求分析和功能設(shè)計

    2.1 需求分析

    實物資產(chǎn)分析評價需要采集多個業(yè)務(wù)系統(tǒng)數(shù)據(jù),并對數(shù)據(jù)進行統(tǒng)一的數(shù)據(jù)格式、粒度、單位、維度值轉(zhuǎn)換,實現(xiàn)數(shù)據(jù)的多維統(tǒng)計、溯源和分析功能。系統(tǒng)的設(shè)計要求包括以下4個方面。

    1)多層級應(yīng)用。本系統(tǒng)實現(xiàn)多層級數(shù)據(jù)管理功能,同時服務(wù)于省、市、縣公司,提供多維度指標分析。

    2)擴展性。系統(tǒng)設(shè)計充分考慮了擴展性,以適應(yīng)新的業(yè)務(wù)需求,為潛在的新增分析指標做好了擴展兼容準備。

    3)實時性。通過系統(tǒng)的建設(shè)和實物資產(chǎn)評價,可以做到實時獲取原始數(shù)據(jù)、實時統(tǒng)計分析指標和生成報表報告。

    4)閉環(huán)管理。采用閉環(huán)管理思想,可通過系統(tǒng)反饋資產(chǎn)評價工作優(yōu)化效果,實現(xiàn)數(shù)據(jù)獲取、資產(chǎn)評價、資產(chǎn)考核、問題改進、任務(wù)跟蹤和任務(wù)比較。

    2.2 功能架構(gòu)

    系統(tǒng)所采用的大數(shù)據(jù)挖掘技術(shù)主要體現(xiàn)于多數(shù)據(jù)源管理、數(shù)據(jù)清洗和多維分析展現(xiàn)技術(shù)。系統(tǒng)的功能包括數(shù)據(jù)源、數(shù)據(jù)管理、數(shù)據(jù)填報、數(shù)據(jù)展現(xiàn)、報表報告展現(xiàn)和系統(tǒng)管理。系統(tǒng)功能架構(gòu)如圖4所示。

    基于大數(shù)據(jù)的電網(wǎng)實物資產(chǎn)分析評價系統(tǒng)設(shè)計與實現(xiàn)

    圖4 系統(tǒng)功能架構(gòu)圖

    來源數(shù)據(jù)是系統(tǒng)外部數(shù)據(jù)經(jīng)過數(shù)據(jù)源模塊加工后獲取的數(shù)據(jù),在系統(tǒng)中以虛擬的數(shù)據(jù)表形式存在。分析評價工作是以ERP-AM/PM、PMS、EMS、輸變電設(shè)備可靠性管理系統(tǒng)等系統(tǒng)中的數(shù)據(jù)作為基礎(chǔ)的,因此需要實現(xiàn)從多種系統(tǒng)中獲取數(shù)據(jù)的功能。

    本系統(tǒng)將數(shù)據(jù)的管理對象定義為來源數(shù)據(jù)、數(shù)據(jù)中心中間表數(shù)據(jù)、基本維度數(shù)據(jù)、系統(tǒng)配置數(shù)據(jù)和輸出數(shù)據(jù)5個部分,根據(jù)數(shù)據(jù)的特點設(shè)計存儲和操作管理方案。

    數(shù)據(jù)中心中間表數(shù)據(jù)是經(jīng)過轉(zhuǎn)換和清洗后,以實物資產(chǎn)分析指標體系構(gòu)建的中間表數(shù)據(jù),其特點為數(shù)據(jù)與分析所需的最小粒度、分類編碼一致?;揪S度數(shù)據(jù)是指所有的維度表,包括公司維度表、資產(chǎn)分類維度表等,用于對系統(tǒng)進行維度轉(zhuǎn)換的統(tǒng)一。系統(tǒng)配置數(shù)據(jù)包括數(shù)據(jù)展現(xiàn)視圖、數(shù)據(jù)報表和報告結(jié)構(gòu)定義數(shù)據(jù),用于控制數(shù)據(jù)輸出內(nèi)容。

    數(shù)據(jù)輸出數(shù)據(jù)以實物資產(chǎn)分析框架為主題建立,用于保存經(jīng)過分析處理后的數(shù)據(jù)。通過對業(yè)務(wù)數(shù)據(jù)源數(shù)據(jù)的轉(zhuǎn)換、清理和加載后,系統(tǒng)中形成原始模型數(shù)據(jù),用于報表和報告的最小數(shù)據(jù)粒度數(shù)據(jù)。通過原始模型數(shù)據(jù)和維度數(shù)據(jù)及指標數(shù)據(jù)構(gòu)建縱橫交織表格視圖,形成結(jié)果數(shù)據(jù)模型。

    2.3 數(shù)據(jù)庫設(shè)計

    采用非關(guān)系型數(shù)據(jù)庫與傳統(tǒng)的數(shù)據(jù)庫實體關(guān)系模型(E-R)的實現(xiàn)方式不同。本系統(tǒng)的數(shù)據(jù)庫結(jié)構(gòu)是一種流程化的模塊,如圖5所示。

    基于大數(shù)據(jù)的電網(wǎng)實物資產(chǎn)分析評價系統(tǒng)設(shè)計與實現(xiàn)

    圖5 數(shù)據(jù)庫結(jié)構(gòu)圖

    其中原始數(shù)據(jù)表是對應(yīng)的外部業(yè)務(wù)系統(tǒng)數(shù)據(jù),包括了Web應(yīng)用程序連接、DB連接、Excel文件連接3種方式。中間表是依托于原始數(shù)據(jù)進行創(chuàng)建的,在創(chuàng)建之前需根據(jù)需求在數(shù)據(jù)庫中定義好字段,可將多張原始數(shù)據(jù)表進行整合成需要的中間表。中間表是結(jié)果表及透視表的基礎(chǔ)。

    結(jié)果表是以中間表為基礎(chǔ),在創(chuàng)建之前需先根據(jù)需求在數(shù)據(jù)庫中定義好字段,對中間表的數(shù)據(jù)進行初步計算,得到需求數(shù)據(jù)。結(jié)果表與中間表數(shù)據(jù)是以指標屬性進行關(guān)聯(lián)的。

    透視表是根據(jù)頁面展示需求,確定需要展示的數(shù)據(jù),再依托于中間表、結(jié)果表進行計算處理,輸出最后滿足需求的數(shù)據(jù)。

    3 系統(tǒng)實現(xiàn)

    3.1 系統(tǒng)架構(gòu)

    本系統(tǒng)采用了輕量級Java企業(yè)版(Java platform, enterprise edition, Java EE)架構(gòu)設(shè)計,底層使用Spring、Struts2和Hibernate框架進行支撐和B/S架構(gòu)設(shè)計,易于部署,免安裝客戶端,方便升級維護。該方案對軟硬件環(huán)境的要求低,且開發(fā)效率高,是當前主流的Web應(yīng)用開發(fā)框架。

    基于Java EE的Web工程需要一個容器,本系統(tǒng)所選用的Web容器為Tomcat。Tomcat就是JSP/servlet容器,它實現(xiàn)了Java EE的一些接口,具有高性能、高并發(fā)、低成本等特性。此外,系統(tǒng)采用了Maven框架進行持續(xù)集成,將系統(tǒng)開發(fā)與部署進行了緊密結(jié)合,提高了系統(tǒng)發(fā)布的效率和頻率。系統(tǒng)架構(gòu)如圖6所示。

    基于大數(shù)據(jù)的電網(wǎng)實物資產(chǎn)分析評價系統(tǒng)設(shè)計與實現(xiàn)

    圖6 系統(tǒng)架構(gòu)

    核心應(yīng)用是在系統(tǒng)框架層面對Java EE的擴展,對數(shù)據(jù)庫和系統(tǒng)操作采用了對開發(fā)者更加友好的函

    數(shù)封裝。同時,將日志、異常處理、緩存管理、Session操作、Cookie操作等企業(yè)應(yīng)用平臺通用功能需求進行擴展和封裝。此外,還提供了應(yīng)用平臺開發(fā)所需要的算法工具集和數(shù)據(jù)結(jié)構(gòu)工具集,幫助開發(fā)者提高項目開發(fā)效率。

    核心應(yīng)用層提供了組件系統(tǒng)與Web Service接口的應(yīng)用程序編程接口(API)系統(tǒng)。該系統(tǒng)可用于定義直接以核心應(yīng)用為起點所進行的應(yīng)用開發(fā)組件的標準化架構(gòu),以及業(yè)務(wù)功能的Web Service接口。

    業(yè)務(wù)組件是以核心應(yīng)用為基礎(chǔ)所建立的標準化架構(gòu)模塊和組件集合,其內(nèi)容涵蓋系統(tǒng)管理模塊、消息傳送模塊、用戶模塊、組件模塊、內(nèi)容管理模塊、主題管理模塊、商業(yè)智能組件和工作流組件。后端與前端是面向業(yè)務(wù)組件系統(tǒng)以模型-視圖-控制器(MVC)模式實現(xiàn)的表示層范例,后端與前端均以主題文件包的形式進行封裝,可靈活地進行二次開發(fā)與擴展。

    在大數(shù)據(jù)框架方面,數(shù)據(jù)源模塊的設(shè)計思路采用了提取-轉(zhuǎn)換-加載(extract-transform-load, ETL)結(jié)構(gòu),采用了HBase數(shù)據(jù)庫結(jié)構(gòu)和MapReduce數(shù)據(jù)分析工具集作為支撐,實現(xiàn)了海量數(shù)據(jù)的存儲分析。

    1)ETL數(shù)據(jù)管理

    數(shù)據(jù)源模塊的設(shè)計思路采用了ETL結(jié)構(gòu)。ETL是指從源系統(tǒng)中提取數(shù)據(jù),將數(shù)據(jù)轉(zhuǎn)換為一個標準的格式,并加載數(shù)據(jù)到目標數(shù)據(jù)存儲區(qū),通常是數(shù)據(jù)倉庫。ETL主要通過數(shù)據(jù)庫引擎來實現(xiàn)系統(tǒng)的可擴展性,可保持所有的數(shù)據(jù)始終在數(shù)據(jù)庫當中,避免數(shù)據(jù)的加載和導出,從而保證效率,提高系統(tǒng)的可監(jiān)控性。通過對相關(guān)數(shù)據(jù)庫進行性能調(diào)優(yōu),ETL過程獲得3~4倍的效率。

    本系統(tǒng)將數(shù)據(jù)的過程劃分為數(shù)據(jù)獲取、數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)加載3個環(huán)節(jié)。本系統(tǒng)通過ETL功能模塊的開發(fā)完成了前述多個系統(tǒng)數(shù)據(jù)的統(tǒng)一采集與數(shù)據(jù)導入,在數(shù)據(jù)源處理中制定了一系列統(tǒng)一規(guī)則,包括數(shù)據(jù)交叉關(guān)聯(lián)對照規(guī)則、數(shù)據(jù)清洗規(guī)則和矛盾數(shù)據(jù)核查規(guī)則。

    2)HBase數(shù)據(jù)庫

    HBase是一個開源的非關(guān)系型分布式數(shù)據(jù)庫(NoSQL),實現(xiàn)的編程語言為Java,提供了BigTable規(guī)模的服務(wù)。HBase在列上實現(xiàn)了BigTable壓縮算法、內(nèi)存操作和布隆過濾器。因此,它可以容錯地存儲海量稀疏的數(shù)據(jù)。對于海量的實物資產(chǎn)數(shù)據(jù),其特點是以資產(chǎn)編碼作為ID,隨著時間的推演而不斷產(chǎn)生新的數(shù)據(jù)。

    傳統(tǒng)的關(guān)系型數(shù)據(jù)庫需要采用多行數(shù)據(jù)來描述一個資產(chǎn),而HBase作為非關(guān)系型數(shù)據(jù)庫,只需要用一行數(shù)據(jù)即可描述資產(chǎn),因為非關(guān)系型數(shù)據(jù)庫的數(shù)據(jù)列可通過時間戳記錄數(shù)據(jù)的變化,只有實際發(fā)生了變化的數(shù)值才會占用新的空間,可大量節(jié)省存儲容量。

    3)MapReduce數(shù)據(jù)分析工具集

    MapReduce是一種編程模型,用于大規(guī)模數(shù)據(jù)集的并行運算,也是分布式數(shù)據(jù)處理模型,可實現(xiàn)下列數(shù)據(jù)挖掘算法:

    (1)文本統(tǒng)計分析(比如報告內(nèi)容的WordCount、詞頻TFIDF分析)以及運維檢修數(shù)據(jù)分析等。

    (2)海量數(shù)據(jù)挖掘以及非結(jié)構(gòu)化數(shù)據(jù)、時空數(shù)據(jù)、圖像數(shù)據(jù)的挖掘。

    (3)機器學習,監(jiān)督學習、無監(jiān)督學習、分類算法(如決策樹、安全語音模塊SVM等)。

    可將MapReduce處理數(shù)據(jù)過程主要分成兩個階段,即Map階段和Reduce階段。首先執(zhí)行Map階段,再執(zhí)行Reduce階段。Map和Reduce的處理邏輯由用戶自定義實現(xiàn),但要符合MapReduce框架的約定。系統(tǒng)采用MapReduce數(shù)據(jù)分析工具集,可以開發(fā)大量數(shù)據(jù)展現(xiàn)圖形。

    3.2 ID-CROSS算法的實現(xiàn)

    為了滿足實物資產(chǎn)分析評價過程中需要分析大量指標的問題,本系統(tǒng)采用一種數(shù)維交叉(index- dimension cross, ID-CROSS)算法,專門用于解決指標在大數(shù)據(jù)存儲空間中的定位問題。ID-CROSS算法其原理是,將指標作為數(shù)據(jù)空間縱軸,維度作為數(shù)據(jù)空間橫軸。

    若指標和維度在同一BigTable中出現(xiàn)交叉,則認為制定的指標在當前維度下有效,其原理如圖7所示,通過數(shù)據(jù)行模型、數(shù)據(jù)列模型和數(shù)據(jù)表模型,進行多維交叉計算。

    基于大數(shù)據(jù)的電網(wǎng)實物資產(chǎn)分析評價系統(tǒng)設(shè)計與實現(xiàn)

    圖7 ID-CROSS算法示例圖

    設(shè)Cell為目標單元格,table為當前數(shù)據(jù)表,index為目標指標,dim為目標維度值。當矩陣中只有一個與目標維度相關(guān)的維度時,其定位方法為Cell=table.position(index,DIM(dim1,dim2,dim3...))(1)

    若矩陣中有多個單元格與目標維度相關(guān),則需要進行降為處理,其處理方法為Cell=SET(indexValue,dim_1,dim_2,...,dim_(i-1),dim_(i+1),...,dim_n)=dim_reduction(SET(indexValue,dim_1,dim_2,...,dim_n),dim_i)(2)

    式中:dim_ j(j=1,…,n);各自的定義域為DOM_ j= {dom_1,…,dom_(l_ j)(l_ j取大于1的整數(shù))}。

    3.3 數(shù)據(jù)解析

    數(shù)據(jù)解析鏈路是一種將數(shù)據(jù)處理過程化的方法,其要求是將數(shù)據(jù)處理過程分在不同的塊中,將每一個塊的輸出作為另一個塊的輸入。在本系統(tǒng)中,實現(xiàn)的模型如圖8所示。

    在本系統(tǒng)數(shù)據(jù)鏈路中,元數(shù)據(jù)表對應(yīng)于外部系統(tǒng)的來源數(shù)據(jù),包括其他系統(tǒng)業(yè)務(wù)數(shù)據(jù)庫、數(shù)據(jù)文件和Web站點等。元數(shù)據(jù)表被加工后,將數(shù)據(jù)傳送至中間數(shù)據(jù)表,中間數(shù)據(jù)表負責對數(shù)據(jù)進行存儲,保存在數(shù)據(jù)倉庫中。

    中間表將需要進行初步降維和運算的數(shù)據(jù)傳送至結(jié)果表,該步驟的目的是減少后續(xù)查詢的運算量,以提高數(shù)據(jù)處理速度。結(jié)果表將需要進行統(tǒng)計運算的數(shù)據(jù)傳送至數(shù)據(jù)透視表,實現(xiàn)數(shù)據(jù)的透視分析功能。最后,透視表將數(shù)據(jù)傳送至數(shù)據(jù)展現(xiàn)表,實現(xiàn)各類數(shù)據(jù)分析圖表的生成,并分別輸出到數(shù)據(jù)展現(xiàn)頁面、Word報告和Excel報表中。

    基于大數(shù)據(jù)的電網(wǎng)實物資產(chǎn)分析評價系統(tǒng)設(shè)計與實現(xiàn)

    圖8 數(shù)據(jù)解析鏈路

    4 系統(tǒng)展示

    在電網(wǎng)實物資產(chǎn)評價中,本系統(tǒng)生成了某省電網(wǎng)公司地市及省公司十大類實物資產(chǎn)的重要報表與實物資產(chǎn)分析評價報告。全部數(shù)據(jù)的處理過程僅需要10min即可完成。數(shù)據(jù)準確性較傳統(tǒng)的人工方式統(tǒng)計有極大改善。圖9和圖10分別展示了實物資產(chǎn)分析評價系統(tǒng)資產(chǎn)概覽總體圖和下屬二級單位關(guān)鍵績效指標對比圖。該系統(tǒng)能夠動態(tài)展現(xiàn)實物資產(chǎn)分析評價結(jié)果和關(guān)鍵考核指標。

    基于大數(shù)據(jù)的電網(wǎng)實物資產(chǎn)分析評價系統(tǒng)設(shè)計與實現(xiàn)

    圖9 系統(tǒng)資產(chǎn)概覽總體圖

    基于大數(shù)據(jù)的電網(wǎng)實物資產(chǎn)分析評價系統(tǒng)設(shè)計與實現(xiàn)

    圖10 下屬二級單位關(guān)鍵績效指標對比圖

    結(jié)論

    通過將大數(shù)據(jù)技術(shù)應(yīng)用于實物資產(chǎn)分析評價系統(tǒng)的設(shè)計,解決了傳統(tǒng)的業(yè)務(wù)分析系統(tǒng)開發(fā)所面臨的空間和效率問題,同時借助于開源框架簡化了開發(fā)復雜性。主要結(jié)論包括:

    1)提高電網(wǎng)企業(yè)實物資產(chǎn)評價報表及報告書中實物資產(chǎn)重要指標信息統(tǒng)計結(jié)果的準確性,避免了人為操作的不確定性。

    2)通過信息化手段,提高了實物資產(chǎn)管理信息統(tǒng)計分析工作效率,節(jié)省大量人力,實現(xiàn)對電網(wǎng)主要實物資產(chǎn)的常態(tài)化、實時化、規(guī)范化與信息化的監(jiān)控管理,為實物資產(chǎn)管理工作決策的制定提供了有力的量化數(shù)據(jù)支持。