解析我國制造業的大數據晉級之路
洞察力從大數據開始
曾經制造業的歷史數據庫關注的焦點在于通過專門的軟件應用程序對相關數據進行有效地收集、存儲、檢索、按照時間序列顯示和優化。歷史數據庫是含有一個以測點名稱字段和時間字段為關鍵字的一張表,這張表的另外的一個重要的字段就是數值字段,用來存儲測點的采集值,除了這些字段,還可以包含數據的狀態,數據質量字段等。隨著時間的變化,不斷地將實時數據庫中的實時數據進行壓縮過濾,并更新磁盤歷史數據文件中的表里的數據。用戶可從此數據庫中查詢生產實時數據的歷史樣本值或歷史插值數據。
工程師、操作人員、管理人員都可以通過歷史數據庫來查看趨勢變化,可以實現近實時關鍵指標(KPI)的跟蹤,并能與實現性能的比較。通過歷史數據庫,相關人員還可對設備故障做出預診斷,提前發現潛在問題。
正是由于準確有效的歷史數據一直以來對工作持續的改進作用,從而,使得在制造業中,到現在還是有著豐富多樣的自動化系統歷史數據庫解決方案。歷史數據庫解決方案的容量和吞吐量是非常容易辨識的標志,但,其解決方案的真正差異其實是聚焦在數據公開、方便的收集與分析方面,如果從多個分布源甚至包括不可靠的網絡連接環境下,可靠有效的獲取數據才是歷史數據庫解決方案的核心所在。
工業數據關注的焦點
雖然每個歷史數據庫中都包含某個核心的數據庫,但真正使數據庫成為發揮作用的應用軟件程序,則是需要使數據成為優化的時間序列數據,即,溫度、壓力、流速等相關監測數據之間具有相關聯的時間戳和參數,處理后的數據也被稱為TVQ(時間、數值和屬性)。同時,需要依據系統情況確認數據收集的頻率,比如是每毫秒或一小時收集一次。通過時間戳將數據做分類,建立分類的數據庫,以便更有效率的存儲更大量的數據,以便更快速、輕松、更通用的完成對數據的檢索。
關系數據庫,是指采用了關系模型來組織數據的數據庫。關系模型是在1970年由IBM首先提出,在之后的幾十年中,關系模型的概念得到了充分的發展并逐漸成為數據庫架構的主流模型。簡單來說,關系模型指的就是二維表格模型,而一個關系型數據庫就是由二維表及其之間的聯系組成的一個數據組織。
關系型數據庫有著以下特點:1、容易理解:二維表結構是非常貼近邏輯世界的一個概念,關系模型相對網狀、層次等其他模型來說更容易理解。2、使用方便:通用的SQL語言使得操作關系型數據庫非常方便,程序員甚至于數據管理員可以方便地在邏輯層面操作數據庫,而完全不必理解其底層實現。3、易于維護:豐富的完整性(實體完整性、參照完整性和用戶定義的完整性)大大降低了數據冗余和數據不一致的概率。
目前,關系數據庫廣泛應用于各個行業,是構建管理信息系統,存儲及處理關系數據的不可缺少基礎軟件,如ERP,MIS,EAM等系統。關系數據庫也是用于分析數據之間的復雜關系的強大工具。但并不適合記錄大量的高速運行的數據。幸運的是,結構化查詢語言(SQL)的出現,使得關系數據庫擁有了更強大的能力和手段,很容易適應其他類型的數據庫,包括非關系型數據庫。此數據庫結構主要用于快速存儲和檢索數據,數以百萬計數據可以被批量處理。這也意味著,可以將數據備份到應用上,如趨勢分析或快速處理包。與關系數據庫的對比,實時歷史數據庫可以記錄,包括變量名、數值、屬性和時間戳等文件。
雖然數據存儲越來越便宜了,但是,每年好幾個TB的關系數據仍然是數據管理的一大難題。為了盡可能的保留實際數據的細節,同時又能節省內存,通過采用50:1的“低損失”壓縮算法。
數據的完整性
數據的完整性一直是保證歷史數據庫實際應用價值的關鍵。如果用戶不能相信的數據是準確和完整,歷史數據庫永遠不能發揮它的能力成為實際工作改進的推動者。
歷史數據庫中的數據可能是來自一個冗余的光纖網絡連接成為單一的分布式控制系統(DCS),這種情況下,數據庫的架構相對簡單。但數據庫中的數據的來源也可能是地理上分散的衛星或無線網絡,如油田數據庫,這種情況下,數據庫不僅是分布式,同時,必須還是容錯。
越來越復雜的數據來源與網絡情況,使得對分布式數據庫提出了越來越高的要求,如果網絡連接由于某種原因突然中斷,則系統要及時啟用本地歷史數據庫繼續進行存儲,直到網絡連接恢復,并及時將本地存儲的數據及時轉發到系統終端。這樣才能保證即使是網絡可靠性參差不齊的情況,系統也能正常運行。近,這種需求,導致了人們在歷史數據庫中引入了“家電”概念,旨在實現“開箱即用”式的數據采集、無線存儲和轉發功能,并以較低的價格實現定制化的解決方案。
分布式歷史數據庫是幫助解決從工廠車間操作人員的企業決策者各層次的管理者不同的需求。歷史數據庫不僅可以提供設備實時操作情況以及趨勢的關鍵績效指標,甚至可以反映設備或者工廠層面的綜合性能。