技術

工業互聯網平臺的七種武器之數據治理

2025China.cn   2021年07月20日

  需求與挑戰 ·

  習近平總書記在黨的十九大報告中提出“推動互聯網、大數據、人工智能和實體經濟深度融合”,進一步突出了大數據作為國家基礎性戰略性資源的重要地位。掌握豐富的高價值數據資源日益成為搶占未來發展主動權的前提和保障。

  數據作為越來越重要的生產要素,將成為比土地、石油、煤礦等更為核心的生產資源。如何加工利用數據,釋放數據價值,實現企業的數字化轉型,是當前企業在數據資產管理中面臨的重要課題。

  我們來看一個工業企業的數據治理的需求。已知明確企業的數據包括:1.運維數據、檢測數據、報警數據以及這些類數據的歷史數據,存儲在某業務系統中,通過接口調用。2.不同下屬單位的多套核心系統的維修、報警及狀態數據,保存在不同的業務系統中,通過接口調用。3.多套核心設備檢測系統的物聯網數據,通過傳感器采集并上傳。4.某系統的GIS數據,以文件形式存儲并集成。5.設備相關圖像數據,以圖像形式存儲。6.視頻數據,來自企業內部監控系統7*24小時的數據,存儲在視頻監控系統中。

  對以上數據進行梳理會發現,企業數據包含以下幾類:

  ● 時序數據:傳感器產生的數據,存于物聯網數據庫中,形態可能是實時數據庫、時序數據庫等

  ● 結構化數據:已有系統積累的數據,包括維修、報警及狀態數據。更多的企業可能是已經歷史上建設好的業務系統 ERP、設備管理、物流、產銷、安全生產等等系統。

  ● 半結構化數據: 如GIS文件等,本身以文件存儲,但數據包含一定的結構和意義。

  ● 圖像數據及視頻數據

  大多數工業企業數據治理起步晚、基礎薄弱,存在缺乏統一數據視圖、數據孤島普遍存在、數據質量參差不齊、數據安全難以保障等問題。這些問題嚴重阻礙了數據的互聯互通和高效利用,成為了數據價值難以有效釋放的瓶頸。

  因此,企業亟需對數據資產進行有效治理,持續積累數據資產、釋放數據價值,以數據驅動企業的業務創新、運營管理的提質增效。

工業互聯網平臺數據治理能力梳理

  針對工業企業數據的現狀,工業互聯網平臺需要提供數據治理的能力,支持企業IT/OT數據融合,最終通過治理后的數據來為工業互聯網應用如設備預測性維護、生產過程優化、企業經營管理應用等提供堅實的數據基礎和支持。

  工業互聯網平臺數據治理能力需要連接數據生產者與消費者,對企業數據進行統一的采集、存儲與治理,為數據消費者提供高質量的數據。對企業數據進行全生命周期閉環管理,支持數據采集、存儲、共享、使用、銷毀全生命周期管理;支持異構、多源的企業數據融合,幫助企業積累數據資產、提升數據質量、實現數據貫通、保障數據安全、促進數據共享、持續提升數據價值。

  從需求角度來看,工業互聯網平臺數據治理基礎能力應包括:提供數據資產目錄、數據地圖、血緣分析、影響分析等典型應用能力;提供數據標準管理、數據質量管理、數據模型管理、元數據管理、數據安全管理等數據治理能力;提供數據接入、數據服務總線等數據集成能力。

  1、全面盤點數據資產

  形成企業數據資產地圖,全面掌握數據資產現狀;

  幫助業務人員快速精確查到需要的數據;

  幫助數據開發人員快速理解數據。

  2、實現數據互聯互通

  建立企業數據標準,完善企業數據管理規范;

  建立企業共享數據平臺,存儲企業數據,積累數據資產;

  建立企業數據共享流程,促進企業數據共享。

  3、提高數據獲取效率

  建立企業數據資產目錄,快速建設需要的數據;

  建立數據服務目錄,快速共享數據服務;

  建立數據計算工具,方便快速完成數據計算。

  4、不斷提升數據質量

  建立閉環的數據治理管控體系;

  設計數據質量標準;

  動態稽核數據質量,生成數據質量稽核報告。

  5、保障數據安全合規

  完善企業數據安全策略;

  建立企業數據安全措施、審計措施,支持數據全生命周期安全管理。

  6、持續釋放數據價值

  建立閉環的數據治理管控體系;

  設計數據質量標準;

  動態稽核數據質量,生成數據質量稽核報告。

寄云NeuSeer工業互聯網平臺

數據治理實踐

  總體架構

  寄云科技NeuSeer工業互聯網平臺提供全方位的數據治理服務,具備完成文件、數據庫、圖像、視頻等相關數據的數據接入能力,支持通過實時數據接口、批量上傳、爬蟲、物聯網數據采集處理等手段將數據接入到平臺,通過數據融合、存儲、治理,最終形成幾類數據治理工作成果:數據資產目錄生成、血緣分析、生命周期管理;數據質量管理、數據標準規范、數據質量報告;數據安全管理,數據訪問安全,存儲安全,共享安全,安全審計等;數據共享,共享流程管理,共享運營及共享評價。

  數據接入

圖 | 數據接入

  1. 支持多元異構數據的模板化接入

  OT數據

  1. 調用時序數據API實時接入

  2. 通過SFTP批量接入

  IT數據

  1. 調用結構數據API 實時接入

  2. 通過ETL批量接入

  3. 通過SFTP批量接入

  4. 調用文件數據API批量接入

  外部數據

  1. 調用結構數據API 實時接入

  2. 調用文件數據API批量接入

  2. 數據源注冊采集數據源基本信息及OT/IT元數據信息

  數據融合

圖 | 數據融合

  支持流批計算,支持KAFKA/TSDB數據流計算,MPP、Hadoop文件的批計算,計算結果可以寫回TSDB、MPP、KAFKA、Hadoop文件。

  數據存儲

圖 | 數據存儲

  MPP支持結構化數據的存儲與計算;TSDB支持IoT實時數據的存儲與計算;HDFS支持非結構化數據的存儲與計算。

  數據治理

圖 | 數據治理

  支持數據采集、存儲、共享、使用、銷毀全生命周期管理,支持異構、多源的企業數據融合,幫助企業積累數據資產、提升數據質量、實現數據貫通、保障數據安全、促進數據共享、持續提升數據價值。

  數據資產目錄

圖 | 數據資產目錄

  ● 支持企業全部數據資產的分類目錄、檢索、查看、共享功能, 幫助數據使用者快速精確地找到自己需要的數據;

  ● 支持全域數據全生命周期管理與治理, 形成數據地圖、數據資產目錄,支持企業數據資產運營;

  ● 幫助企業快速感知企業數據分布。

  數據共享

圖 | 數據共享

  支持數據共享,包括共享流程管理,共享運營及共享評價數據,實現數據的跨企業內外互聯互通,匯聚共享。

  數據標準

圖 | 數據標準

  ● 支持企業數據標準的瀏覽、查詢、下載;

  ● 支持企業數據標準的新建、審核、發布、廢止及版本管理。

  數據質量

圖 | 數據質量

  ● 根據數據標準設定質量規則;

  ● 數據質量動態稽核;

  ● 生成數據治理稽核報告;

  ● 數據質量報警。

  數據模型

圖 | 數據模型

  ● 結構化數據物理模型的檢索與查閱;

  ● 結構化數據物理模型的變更、審核、發布及歷史版本管理。

  元數據管理

圖 | 元數據管理

  ● 采集并管理元數據;

  ● 定義分類、分層數據標簽;

  ● 元數據質量稽核;

  ● 數據血緣分析、影響分析,實現數據關鍵信息的追蹤和記錄,幫助用戶快速了解數據的來源于去向,有效評估數據元數據變化帶來的影響。

  數據安全

圖 | 數據安全

  數據安全對數據進行安全等級劃分, 從采集,傳輸,存儲和使用的各個環節對數據全生命周期的安全管理,支持數據安全使用和共享。

  數據融合

  ● 結構化數據注冊數據源后通過實時API、ETL方式接入數據服務總線;

  ● 實時數據注冊數據源后, 通過實時數據接入Adapter接入數據服務總線;

  ● 文件、圖片、視頻等非結構化數據通過手工上傳SFTP的方式接入;

  ● 盤點企業IT/OT所有數據源基本信息, 支持標準化模板數據接入;

  ● 多源數據的提取、分析、結果輸出。

  數據治理后的數據應用

  問渠哪得清如許,為有源頭活水來。數據治理的過程就是紅旗渠的建設過程,經過數據治理平臺處理后的數據,如同經過分類處理的各種資源,是后續各種企業應用的數據基礎。這些數據可以用來支撐工業APP應用的開發,構建各種數據指標體系,針對業務優化場景去構建復雜分析模型。

  寄云科技NeuSeer工業互聯網平臺,深度聚焦工業領域,以數據智能為核心,融合IT/OT數據,為企業提供方便的異構數據接入和融合、大數據處理與智能化分析,以及低代碼的開發工具,簡化和加速工業應用的開發與迭代,助力企業建立閉環的數據治理管控體系。廣泛應用于設備性能管理、生產過程指標優化、實時生產決策、安全生產等應用場景,持續致力于為企業數字化轉型與智能化升級提供有力抓手。

標簽:寄云科技 工業互聯網平臺 我要反饋 
ABB云展車
世強
工廠MRO間接材使用及管理調研
專題報道
數字化轉型 – 數據賦能——2021西門子化工及玻璃行業客戶日
數字化轉型 – 數據賦能——2021西門子化工及玻璃行業客戶日

西門子作為全球領先的電氣化、自動化和數字化解決方案供應商,始終是中國化工及玻璃光伏企業數字化轉型的忠實合作伙伴。值此之際

大族機器人 MAiRA 多感知智能機器人助手
大族機器人 MAiRA 多感知智能機器人助手

MAiRA高度集成了最新型的傳感器,在控制系統和應用中完美實現前所未有的人工智能集成,引領協作機器人步入智能時代。耐用而

TeSys Giga 系列電動機控制與保護
TeSys Giga 系列電動機控制與保護

作為本地化研發的最新結晶,TeSys Giga系列電動機控制與保護產品通過融入多項自主創新專利技術,以更簡約的創新設計,

加勒比hezyo无码专区