互聯(lián)網(wǎng)往往以龐大的用戶基數(shù)、天量的數(shù)據(jù)積累、深度的數(shù)據(jù)挖掘與分析成為大數(shù)據(jù)應(yīng)用的急先鋒。而物聯(lián)網(wǎng)，作為大數(shù)據(jù)應(yīng)用的另一面，隨著智能物聯(lián)網(wǎng)的逐步落地，搭載云平臺(tái)之后的力量也不可小視，尤其是在智慧城市和智慧行業(yè)應(yīng)用建設(shè)的背景之下逐步顯現(xiàn)應(yīng)用價(jià)值。
CSDN云計(jì)算的讀者對(duì)基于互聯(lián)網(wǎng)實(shí)現(xiàn)大數(shù)據(jù)應(yīng)用的案例不陌生，從Facebook、Netflix到Pinterest，從阿里、百度、騰訊到京東、360、小米。但物聯(lián)網(wǎng)，卻鮮有涉及。日前，有機(jī)會(huì)就相關(guān)問(wèn)題請(qǐng)教中國(guó)科學(xué)院計(jì)算技術(shù)研究所計(jì)算機(jī)軟件及理論博士，同方物聯(lián)網(wǎng)應(yīng)用產(chǎn)業(yè)本部軟件開(kāi)發(fā)部總監(jiān)王豐錦，收獲頗豐。
以傳感器為基礎(chǔ)的物聯(lián)網(wǎng)特性分析
王豐錦，一直擔(dān)任物聯(lián)網(wǎng)數(shù)據(jù)資源體系與數(shù)據(jù)業(yè)務(wù)服務(wù)平臺(tái)規(guī)劃與設(shè)計(jì)的研發(fā)工作。在他看來(lái)，智慧城市的城市運(yùn)行體征大數(shù)據(jù)中心有如下特征：
作為基礎(chǔ)平臺(tái)和神經(jīng)中樞，城市運(yùn)行體征大數(shù)據(jù)中心強(qiáng)調(diào)軟硬結(jié)合，將來(lái)自不同部門和行業(yè)的數(shù)據(jù)(如行業(yè)數(shù)據(jù)、政府部門和公共基礎(chǔ)數(shù)據(jù)等)進(jìn)行收集與整合，然后依據(jù)智慧城市指標(biāo)體系進(jìn)行規(guī)范和關(guān)聯(lián)，最終支持不同應(yīng)用載體進(jìn)行信息查詢、分析和挖掘。這其中，會(huì)應(yīng)用到多種創(chuàng)新技術(shù)，如云計(jì)算、物聯(lián)網(wǎng)信息采集平臺(tái)、GIS地理公共服務(wù)分析展示平臺(tái)、大數(shù)據(jù)統(tǒng)計(jì)分析平臺(tái)等。而從行業(yè)應(yīng)用來(lái)看，也可分為智慧城管、智慧政務(wù)、智慧民生、智慧交通等行業(yè)體系。
正是由于涵蓋范圍廣，所以智慧行業(yè)應(yīng)用往往從點(diǎn)開(kāi)始，逐步延伸。比如同方已經(jīng)通水試運(yùn)行成功的南水北調(diào)東線山東段調(diào)度運(yùn)行管理工程項(xiàng)目，充分體現(xiàn)了這一點(diǎn)。項(xiàng)目全稱為南水北調(diào)東線一期工程山東段調(diào)度運(yùn)行管理系統(tǒng)，從技術(shù)上看，覆蓋了信息采集、數(shù)據(jù)整合加工、數(shù)據(jù)查詢與實(shí)時(shí)監(jiān)測(cè)、數(shù)據(jù)資源體系管理等大數(shù)據(jù)應(yīng)用全過(guò)程，以及結(jié)合GIS地理公共服務(wù)的數(shù)據(jù)展示與分析。
具體來(lái)看：南水北調(diào)東線山東段94個(gè)閘泵站/監(jiān)測(cè)點(diǎn)實(shí)時(shí)運(yùn)行，每5分鐘采集一次水位、水情、水質(zhì)、流量、閘門開(kāi)度和基礎(chǔ)運(yùn)行狀態(tài)的基礎(chǔ)信息，每天數(shù)據(jù)量大概在50萬(wàn)條左右，1GB的容量，一年將近1.5億條，1TB左右的監(jiān)測(cè)數(shù)據(jù)。這就要求技術(shù)架構(gòu)可以充分應(yīng)對(duì)龐大的數(shù)據(jù)實(shí)時(shí)收集，大規(guī)模存儲(chǔ)，實(shí)現(xiàn)快速數(shù)據(jù)查詢，歷史數(shù)據(jù)挖掘和分析評(píng)估，為水量調(diào)度和綜合會(huì)商提供充分的信息支持服務(wù)等需求。
作為典型的水利項(xiàng)目，南水北調(diào)的物聯(lián)網(wǎng)特性很明顯。不同于互聯(lián)網(wǎng)的網(wǎng)頁(yè)數(shù)據(jù)抓取、存儲(chǔ)和分析，其監(jiān)測(cè)數(shù)據(jù)都來(lái)自于水位計(jì)、流量計(jì)、水質(zhì)監(jiān)測(cè)設(shè)備、位移傳感器、工程安全傳感器等各種物聯(lián)網(wǎng)傳感器設(shè)備。物聯(lián)網(wǎng)傳感器獲取的監(jiān)測(cè)數(shù)據(jù)通過(guò)PLC自動(dòng)化控制設(shè)備或者直接網(wǎng)絡(luò)連接實(shí)現(xiàn)定時(shí)的數(shù)據(jù)采集、信息轉(zhuǎn)換和信息上傳。所獲得的數(shù)據(jù)也非常龐大，不亞于互聯(lián)網(wǎng)所產(chǎn)生的數(shù)據(jù)。
落到技術(shù)上，由于南水北調(diào)調(diào)度系統(tǒng)是以業(yè)務(wù)系統(tǒng)為主，分析輔助決策為輔，所以數(shù)據(jù)庫(kù)方面仍是以關(guān)系數(shù)據(jù)存儲(chǔ)為主，但為了適應(yīng)大規(guī)模數(shù)據(jù)量(每天50萬(wàn)條)的日志分析，也會(huì)采取混合數(shù)據(jù)庫(kù)(SQL+NoSQL)的方式，通過(guò)Hadoop(HBase)，對(duì)監(jiān)測(cè)日志進(jìn)行實(shí)時(shí)查詢和分析。在王豐錦看來(lái)：數(shù)據(jù)采集和存儲(chǔ)只是第一步，通過(guò)同方的大數(shù)據(jù)資源體系，以指標(biāo)體系為基礎(chǔ)對(duì)原始數(shù)據(jù)進(jìn)行資源化(將不標(biāo)準(zhǔn)、不規(guī)范的傳感數(shù)據(jù)標(biāo)準(zhǔn)化、規(guī)范化)，將數(shù)據(jù)本身之間的關(guān)聯(lián)關(guān)系和內(nèi)部聯(lián)系以元數(shù)據(jù)方式進(jìn)行描述，便于后續(xù)的業(yè)務(wù)系統(tǒng)應(yīng)用和數(shù)據(jù)查詢和分析。這才是同方最獨(dú)特的優(yōu)勢(shì)。
南水北調(diào)物聯(lián)網(wǎng)項(xiàng)目技術(shù)實(shí)踐
從5月25號(hào)到6月25號(hào)的試通水運(yùn)行成功和10月份22日開(kāi)始的正式通水試運(yùn)行情況來(lái)看，項(xiàng)目進(jìn)展順利。長(zhǎng)江水從下游江蘇省揚(yáng)州的江都水利樞紐以每秒500立方米的抽水速度北上，送至魯北、膠東地區(qū)，并具備向河北、天津應(yīng)急供水的能力，水量調(diào)度運(yùn)行管理系統(tǒng)運(yùn)行正常，初步實(shí)現(xiàn)了預(yù)期的信息系統(tǒng)監(jiān)測(cè)與管理、自動(dòng)化數(shù)據(jù)采集和實(shí)時(shí)監(jiān)控等功能。下一步研發(fā)目標(biāo)，王豐錦表示，將集中在大數(shù)據(jù)可視化、信息采集平臺(tái)優(yōu)化、歷史數(shù)據(jù)分析與預(yù)測(cè)等方面。
大數(shù)據(jù)可視化分析，是通過(guò)分析和挖掘龐大的歷史數(shù)據(jù)量背后的關(guān)系和趨勢(shì)，以可視化的方式為管理層呈現(xiàn)數(shù)據(jù)價(jià)值的最好工具，將會(huì)應(yīng)用在項(xiàng)目的日常水量調(diào)度、水質(zhì)分析、應(yīng)急調(diào)度、工程管理等方面。
完善信息采集平臺(tái)方面，目前已經(jīng)實(shí)現(xiàn)了通過(guò)物聯(lián)網(wǎng)將各種各樣的傳感器的信息進(jìn)行實(shí)時(shí)采集，但未來(lái)還需要進(jìn)一步擴(kuò)展，包括增加支持的設(shè)備類型和通信協(xié)議標(biāo)準(zhǔn)。除此以外，由于物聯(lián)網(wǎng)行業(yè)屬性明顯，如水利、交通等，需要將行業(yè)知識(shí)和技術(shù)緊密結(jié)合。
數(shù)據(jù)需求預(yù)測(cè)方面，南水北調(diào)等調(diào)水項(xiàng)目不同于其他項(xiàng)目，更重視歷史數(shù)據(jù)的積累，基于歷史數(shù)據(jù)的分析和預(yù)測(cè)作用極為明顯。所以如何訪問(wèn)關(guān)系數(shù)據(jù)庫(kù)中當(dāng)前的實(shí)時(shí)數(shù)據(jù)進(jìn)行實(shí)時(shí)查詢和展現(xiàn)，以及如何將存儲(chǔ)在不同地方的大量歷史數(shù)據(jù)轉(zhuǎn)換為可以分析的數(shù)據(jù)，并通過(guò)同一界面完成統(tǒng)一的查詢分析和結(jié)果展示，需要進(jìn)一步結(jié)合用戶的調(diào)度管理和綜合分析的要求進(jìn)行研發(fā)。
最初我們也認(rèn)為水文數(shù)據(jù)既然是關(guān)系型，放到關(guān)系型數(shù)據(jù)庫(kù)中就可以，但真正到了實(shí)踐，才發(fā)現(xiàn)關(guān)系型數(shù)據(jù)庫(kù)的弊病。比如，要對(duì)最近一個(gè)月內(nèi)的數(shù)據(jù)進(jìn)行分析是可以的，但是如果要增加上近5年的歷史數(shù)據(jù)，關(guān)系型數(shù)據(jù)庫(kù)基本上就跑不動(dòng)了，要非常漫長(zhǎng)的搜索和分析過(guò)程。所以，我們嘗試應(yīng)用了HBase數(shù)據(jù)存儲(chǔ)方式來(lái)支持海量數(shù)據(jù)的存儲(chǔ)和分析。
研發(fā)上，同方也采用了開(kāi)源優(yōu)化+自主研發(fā)之路。比如數(shù)據(jù)可視化，就是通過(guò)開(kāi)源GIS平臺(tái)+自主研發(fā)的圖表工具的方式實(shí)現(xiàn)了基于GIS的閘站監(jiān)控?cái)?shù)據(jù)的展現(xiàn)和分析。
項(xiàng)目并非一帆風(fēng)順。王豐錦對(duì)CSDN云計(jì)算表示：最難之處在于對(duì)于歷史數(shù)據(jù)的清洗和轉(zhuǎn)化，非常的耗時(shí)耗力。
轉(zhuǎn)型的最終目的 -提質(zhì)降本增效
分享到微信 ×
打開(kāi)微信，點(diǎn)擊底部的“發(fā)現(xiàn)”，
使用“掃一掃”即可將網(wǎng)頁(yè)分享至朋友圈。