2. 工業(yè)數(shù)據(jù)上云面臨的挑戰(zhàn)

對于工業(yè)數(shù)據(jù)，可從OT域和IT域兩個角度入手：

① OT域——工業(yè)設(shè)備時序數(shù)據(jù)實時上云的挑戰(zhàn)

相比于智能家居等消費型智能設(shè)備，制造業(yè)產(chǎn)業(yè)普遍自動化程度較高，然而設(shè)備更加專業(yè)化和封閉化：適配協(xié)議多，采集頻率高，數(shù)據(jù)量大，非標(biāo)設(shè)備多；因此需要搭建統(tǒng)一的、具有兼容性的數(shù)據(jù)匯集網(wǎng)關(guān)，做好底層建設(shè)，制定針對性的云邊一體化方案。

工業(yè)產(chǎn)線設(shè)備和消費級智能設(shè)備的對比如左圖所示。

② IT域——工業(yè)離線數(shù)據(jù)集成挑戰(zhàn)

除了上述的OT域所面臨的挑戰(zhàn)外，在IT域同樣面臨不小的挑戰(zhàn)。

右圖是一個典型的工廠信息化進程。從圖中可以看出，工業(yè)企業(yè)采購的IT系統(tǒng)之間通常是不能數(shù)據(jù)互通的，因此工業(yè)IT存多源異構(gòu)系統(tǒng)特別多、數(shù)據(jù)格式不統(tǒng)一、碎片化嚴(yán)重。基于這樣的情況，將各類數(shù)據(jù)匯聚起來做商業(yè)分析、經(jīng)營報表等是非常困難的；因此需要配套離線的數(shù)據(jù)集成方案，去解決上述諸多IT域存在的問題。

3. 工業(yè)數(shù)據(jù)上云整體架構(gòu)

如前文所述，工業(yè)數(shù)據(jù)上云的價值在于：幫助制造企業(yè)實現(xiàn)企業(yè)內(nèi)部從設(shè)備、控制系統(tǒng)及信息系統(tǒng)的互聯(lián)和數(shù)據(jù)融合，最終實現(xiàn)數(shù)據(jù)驅(qū)動業(yè)務(wù)與運營優(yōu)化；然而其存在諸多的技術(shù)挑戰(zhàn)，主要在于：工業(yè)邊緣采集+建模、海量數(shù)據(jù)上云、異構(gòu)數(shù)據(jù)集成、數(shù)據(jù)融合分析等。

基于上述種種現(xiàn)狀，阿里云IoT事業(yè)部工業(yè)互聯(lián)網(wǎng)團隊聯(lián)合阿里云物聯(lián)網(wǎng)平臺以及邊緣計算團隊、容器服務(wù)團隊，共同研發(fā)了一套工業(yè)數(shù)據(jù)組合應(yīng)用平臺，專用于解決工業(yè)企業(yè)大規(guī)模點位設(shè)備數(shù)據(jù)快速上云這類問題，并結(jié)合工業(yè)典型場景提供諸如數(shù)據(jù)資產(chǎn)服務(wù)、業(yè)務(wù)應(yīng)用服務(wù)、數(shù)據(jù)融合服務(wù)等。整體架構(gòu)如下：

基于阿里云物聯(lián)網(wǎng)、云技術(shù)和工業(yè)大數(shù)據(jù)技術(shù)等，阿里云數(shù)字工廠構(gòu)建了一套相關(guān)的解決方案：利用數(shù)字化控制管理資源，收集分析歷史數(shù)據(jù)，并基于分析結(jié)果進行業(yè)務(wù)決策和優(yōu)化技術(shù)。（可在阿里云主頁搜索“數(shù)字工廠”查看詳情）

4. 工業(yè)數(shù)據(jù)上云核心鏈路

工業(yè)數(shù)據(jù)通過采集器采集數(shù)據(jù)，獲取設(shè)備的運行狀態(tài)。工業(yè)產(chǎn)線大多是通過PLC或DSC實現(xiàn)自動化控制，因此工業(yè)邊緣網(wǎng)關(guān)的主要目標(biāo)是讀取數(shù)據(jù)并進行模型化處理、格式化組織并上云。

這一部分的關(guān)鍵點在于，根據(jù)數(shù)據(jù)的實時性以及數(shù)據(jù)類型，進行分層處理，實現(xiàn)設(shè)備實時消息采集上云+云邊離線數(shù)據(jù)集成：

02核心技術(shù)環(huán)節(jié)和優(yōu)化心得

1. 工業(yè)多協(xié)議兼容的邊緣計算一體機

① 在工業(yè)生產(chǎn)現(xiàn)場，通過部署阿里云邊緣計算一體機，實現(xiàn)高實時高流量高可靠的數(shù)據(jù)接入、就近計算、算法推理

使用阿里云邊緣一體機，為客戶提供邊緣計算基礎(chǔ)設(shè)施，具體包括以下特性：

② 在工業(yè)數(shù)據(jù)上云場景的邊緣計算應(yīng)用架構(gòu)

2. 工業(yè)設(shè)備實時數(shù)據(jù)的模型化處理

① 阿里云物模型介紹

阿里云物聯(lián)網(wǎng)平臺物模型,在智能消費類設(shè)備領(lǐng)域大規(guī)模推廣,沉淀了屬性、事件、服務(wù)標(biāo)準(zhǔn)定義;又在園區(qū)、城市、工業(yè)等場景中不斷增強,演化出組合、引用、規(guī)則等復(fù)雜模型特性,最終具備數(shù)字孿生體的建模、協(xié)同、共智核心特征。

阿里云物聯(lián)網(wǎng)平臺物模型2.0增加了物模型規(guī)則，可計算包括物模型自身功能定義之間的運算和跨物模型功能定義之間的計算。

下圖的左圖就是一個最簡單的物模型轉(zhuǎn)換規(guī)則：將攝氏度轉(zhuǎn)換為華氏度。

傳統(tǒng)的工控自動化背后，是很多小規(guī)模、封閉、獨立的自控系統(tǒng)，在工業(yè)實施的過程中，需要專有的系統(tǒng)或協(xié)議層的訪問，而且難以復(fù)用。基于阿里云工業(yè)協(xié)議網(wǎng)關(guān)配合物聯(lián)網(wǎng)平臺物模型規(guī)范，可以實現(xiàn)現(xiàn)實通信協(xié)議和設(shè)備模型之間的解耦。通過物模型，站在整個企業(yè)視角對工業(yè)設(shè)備進行統(tǒng)一的自上而下下建模，從實踐中看到有如下收益：

上圖為工業(yè)設(shè)備數(shù)據(jù)在數(shù)據(jù)采集上云過程中的不同處理階段

② 物模型應(yīng)用案例

物聯(lián)網(wǎng)應(yīng)用開發(fā)，是阿里云針對物聯(lián)網(wǎng)場景提供的生產(chǎn)力工具，是阿里云物聯(lián)網(wǎng)平臺的一部分，可覆蓋各個物聯(lián)網(wǎng)行業(yè)核心應(yīng)用場景。

對于工業(yè)場景，在接入物模型設(shè)備后，開發(fā)者可以借助IoT Studio快速搭建工業(yè)云組態(tài)視圖。

③ 工業(yè)數(shù)據(jù)模型化帶來的技術(shù)挑戰(zhàn)

傳統(tǒng)的數(shù)采方案主要包括采集、存儲、就近計算、流轉(zhuǎn)上云這4個主要的步驟。如上所說，我們在常規(guī)的消息處理的過程中增加了一個模型化的步驟，在具備了物模型能力的同時，也帶來了如下的技術(shù)挑戰(zhàn)：

上圖中左側(cè)部分是原始時序數(shù)據(jù)點位，右側(cè)部分是模型化后的JSON的表達(dá)方式。為解決模型化后的傳輸、處理問題，降低上云成本，需要利用邊緣側(cè)算力，就近完成模型預(yù)處理工作。

與此同時，針對模型化數(shù)據(jù)的邊緣數(shù)據(jù)上云通道的傳輸協(xié)議、編碼方案，也需要做一系列的針對性優(yōu)化。

3. 邊緣數(shù)據(jù)上云通道設(shè)計

① 在邊緣側(cè)對設(shè)備的模型化消息進行數(shù)據(jù)預(yù)處理，提升上云效率。

現(xiàn)實中單個工廠邊緣上報的數(shù)據(jù)峰值經(jīng)常達(dá)到10W點/秒以上，對上云吞吐量要求高，如果用原始設(shè)備JSON模型消息傳輸，會占用很大的上行帶寬(>200Mbps)；

而通過在邊緣側(cè)做前置預(yù)處理、云邊協(xié)同編解碼等優(yōu)化手段，實測上云帶寬和云上處理QPS降低80%，為客戶節(jié)約了大量的上云資源費用。具體包括以下優(yōu)化點：

② 設(shè)備實時數(shù)據(jù)消息聚合重排方案介紹

所謂消息聚合重排，是指邊緣側(cè)接收底層上送的離散設(shè)備消息，按指定的間隔窗口聚合為同一設(shè)備同一屬性的一段時序數(shù)據(jù)，提升單條消息的數(shù)據(jù)排列效率，也有利于云端對設(shè)備消息進行批處理。

③ 數(shù)字序列化和壓縮方案介紹

當(dāng)前的工業(yè)數(shù)據(jù)上云鏈路，是基于阿里云企業(yè)級物聯(lián)網(wǎng)平臺提供的mqtt協(xié)議通道。如果基于普通的明文JSON格式直接序列化傳輸,字節(jié)效率偏低；因此需要針對工業(yè)場景，選擇合適的序列化/壓縮方案。

首先考慮的，是采用一種緊湊的序列化編碼方案替換JON格式，例如 protobuf/tlv，但這類序列化方案存在各自的問題：

另一種思路，是在云邊MQTT協(xié)議通道的 client-server間協(xié)商支持一種通用的zip/unzip壓縮算法，可考慮的壓縮策略有：

選擇序列化/壓縮方案主要考慮資源消耗、壓縮率和云邊兩端的實現(xiàn)復(fù)雜度；通過多方權(quán)衡，目前采用阿里云物聯(lián)網(wǎng)平臺支持MQTT通道提供的Zib壓縮方案。

Zlib：對 DEFLATE算法的一種封裝,先用LZ77算法預(yù)處理，然后用霍夫曼編碼對壓縮后的 literal、length、distance編碼優(yōu)化如今最流行的通用壓縮算法之一。

④ 斷網(wǎng)/斷點續(xù)傳方案介紹

解決數(shù)據(jù)上云時遇到網(wǎng)絡(luò)中斷或者網(wǎng)絡(luò)抖動等情況，在對沒有上送云端的數(shù)據(jù)進行本地存儲，在探測到網(wǎng)絡(luò)恢復(fù)后進行數(shù)據(jù)的上云恢復(fù)。利用斷網(wǎng)續(xù)傳相關(guān)的SDK能力，適配各種斷網(wǎng)場景下的可靠性保障。

4. 工業(yè)設(shè)備實時數(shù)據(jù)云上流轉(zhuǎn)

工業(yè)設(shè)備實時數(shù)據(jù)上云，基于的是阿里云企業(yè)級物聯(lián)網(wǎng)平臺提供的MQTT協(xié)議通道，可支撐海量設(shè)備連接和海量物聯(lián)消息上云，同時支持實時規(guī)則處理與消息多路流轉(zhuǎn)。

對于工業(yè)場景，推薦使用物聯(lián)網(wǎng)平臺連接型實例，可獨享設(shè)備接入層的網(wǎng)絡(luò)和計算資源，適合大點位數(shù)據(jù)(高帶寬、高QPS)上云。

5. 工業(yè)離線數(shù)據(jù)集成方案

前文講述了工業(yè)設(shè)備OT域的數(shù)據(jù)實時上云方案；接下來講述IT域的數(shù)據(jù)上云方案。前文說到，設(shè)備IT域的數(shù)據(jù)，主要是存量化本地的IT系統(tǒng)。因此，IT域的數(shù)據(jù)上云，主要包括以下步驟：

6. 本地多源異構(gòu)數(shù)據(jù)集成工具設(shè)計

在工業(yè)場景復(fù)雜的異構(gòu)系統(tǒng)環(huán)境下，傳統(tǒng)ETL工具或者數(shù)據(jù)集成平臺，很難直接做為快速打通企業(yè)存量系統(tǒng)和云上系統(tǒng)的數(shù)據(jù)通道。因此，我們做了一個更貼合工業(yè)場景的邊緣數(shù)據(jù)集成平臺-工業(yè)八爪魚。

為達(dá)到工業(yè)場景低成本快速數(shù)據(jù)上云的要求，工業(yè)八爪魚有強大的邊緣ETL能力，也就是多種數(shù)據(jù)源采集、靈活的數(shù)據(jù)轉(zhuǎn)換方法、安全高速的數(shù)據(jù)傳輸通道，同時，我們希望能夠最大限度的減少項目實施的重復(fù)開發(fā)過程，這就要求這個平臺還有沉淀模板化的能力。

工業(yè)八爪魚的核心模塊，主要是本地數(shù)據(jù)的增量同步，以及同步過程中的腳本化轉(zhuǎn)換規(guī)則

為什么選擇在邊緣端運行腳本？這里主要考慮到三個問題：

03工業(yè)數(shù)據(jù)應(yīng)用案例介紹

1. 工業(yè)代表落地案例——某流程型制造大型企業(yè)數(shù)字化轉(zhuǎn)型

2. 工業(yè)數(shù)據(jù)應(yīng)用案例——生產(chǎn)過程追溯

質(zhì)量是制造業(yè)的生命線，"人"、"機"、"料"、"法"、"環(huán)" 是成產(chǎn)過程影響產(chǎn)品質(zhì)量的關(guān)鍵因素，采用IoT信息化方式自動采集這些因素數(shù)據(jù)，把IOT物聯(lián)網(wǎng)采集的設(shè)備數(shù)據(jù)與工廠業(yè)務(wù)數(shù)據(jù)進行關(guān)聯(lián)，能夠正向追溯成品使用了哪些半成品和原料的批次或者單體，也能反向追溯原材料到半成品和成品的批次或者單體。能夠在追溯過程中重新生產(chǎn)過程中的“人、機、料、法、環(huán)”等多種因素的原始數(shù)據(jù)

人：這個工序中每個步驟是誰操作的

機：唯一標(biāo)識的物料在每個步驟是哪臺設(shè)備生產(chǎn)

料：原料、輔料、半成品在設(shè)備或步驟中的投料時間和數(shù)量

法：關(guān)聯(lián)到設(shè)備采集的工藝過程參數(shù)，以及質(zhì)量判斷結(jié)果

環(huán)：按照工廠模型綁定的環(huán)境過程信息

把生產(chǎn)過程數(shù)據(jù)形成一套關(guān)聯(lián)模型，我們可以基于這套數(shù)據(jù)做數(shù)據(jù)分析，比如正向追溯、反向追溯、質(zhì)量結(jié)果分析等。例如當(dāng)產(chǎn)品出現(xiàn)質(zhì)量問題，能夠清楚的知道產(chǎn)品的生產(chǎn)時間、工藝步驟參數(shù)、對應(yīng)的物聯(lián)網(wǎng)設(shè)備參數(shù)信息、消耗的物料情況、產(chǎn)品對應(yīng)的環(huán)境數(shù)據(jù)等，能防止缺陷擴散和準(zhǔn)確定位問題，提高產(chǎn)品質(zhì)量，維護品牌形象。

當(dāng)然，有時候我們也并不特別清楚這樣一套數(shù)據(jù)模型應(yīng)用場景，可以通過開放數(shù)據(jù)讓客戶找到具體應(yīng)用場景，盡量挖掘數(shù)據(jù)價值。比如產(chǎn)品不合格時，是否由于設(shè)備參數(shù)異常導(dǎo)致、是否由于環(huán)境數(shù)據(jù)異常導(dǎo)致。

3. 工業(yè)數(shù)據(jù)應(yīng)用案例——基于振動分析的設(shè)備異常檢測

工業(yè)設(shè)備中存在大量旋轉(zhuǎn)和往復(fù)運動部件，設(shè)備運行過程中會持續(xù)產(chǎn)生振動信號，這些振動信號往往蘊含著豐富的信息，可以反映關(guān)鍵部件甚至設(shè)備整體的運行狀態(tài)或健康狀態(tài)

選擇軸承一段時期內(nèi)的振動數(shù)據(jù)，共計N段采樣信號，這里面主要用到了無監(jiān)督學(xué)習(xí)，信號無任何標(biāo)注，可獲得若干異常段信號特征點，最終是要識別信號中是否出現(xiàn)軸承受沖擊帶來的振幅突變，以及是否由于磨損帶來的中心頻率偏移。此類設(shè)備異常檢測算法可為工業(yè)生產(chǎn)帶來實際價值：

今天的分享就到這里，謝謝大家。

分享嘉賓：

分享嘉賓：張起彤 阿里云 物聯(lián)網(wǎng)架構(gòu)師

編輯整理：王吉東 昆侖數(shù)據(jù)

出品平臺：DataFunTalk