一般來(lái)說(shuō),物聯(lián)網(wǎng)物聯(lián)傳輸處理過(guò)程,首先要進(jìn)行數(shù)據(jù)接收,也就是將采集的數(shù)據(jù)進(jìn)行匯總,再進(jìn)行數(shù)據(jù)傳輸,到中央處理系統(tǒng)(通常指服務(wù)器),再通過(guò)數(shù)據(jù)存儲(chǔ)、分析、加工,再將需要的結(jié)果,通過(guò)應(yīng)用程序反向設(shè)備發(fā)送相關(guān)操作指令。
一、批處理
批處理的方法就是隔一段時(shí)間就分批次的處理一次積攢的數(shù)據(jù)。一般情況下先把數(shù)據(jù)存入數(shù)據(jù)庫(kù)里,隔一段時(shí)間就從數(shù)據(jù)庫(kù)里獲取,執(zhí)行處理。這種方式適用于不需要緊急處理的工作環(huán)境,比如氣象溫度、濕度、風(fēng)向數(shù)據(jù),冰箱及空調(diào)等相關(guān)數(shù)據(jù),城市監(jiān)控等數(shù)據(jù)。批處理需要在規(guī)定的時(shí)間內(nèi)處理規(guī)定范圍的數(shù)據(jù),因此數(shù)據(jù)量越多,執(zhí)行處理數(shù)據(jù)的服務(wù)器就要求性能越好。
隨著物聯(lián)網(wǎng)設(shè)備的逐漸增多,人們需要處理的數(shù)據(jù)量也越來(lái)越大,人們處理這些龐大的設(shè)備量得到的圖像、聲音及各種傳感器獲得的數(shù)據(jù),進(jìn)行存取、分析、處理并得到所需數(shù)據(jù),就是大數(shù)據(jù)的應(yīng)用了。一般大數(shù)據(jù)都需要用到分布式數(shù)據(jù)處理方式及數(shù)據(jù)庫(kù)。分布式數(shù)據(jù)處理平臺(tái)主要有:、Apache Spark、Redis數(shù)據(jù)庫(kù)、Mongodb數(shù)據(jù)庫(kù)、Elasticsearch數(shù)據(jù)庫(kù)等。
二、流處理
流處理的方式,是不保存所有數(shù)據(jù),只搜集需要而且有用的數(shù)據(jù),其它數(shù)據(jù)都會(huì)直接被丟棄。比如我只想做一個(gè)溫度預(yù)警的消防裝置,雖然溫度傳感器在實(shí)時(shí)監(jiān)測(cè)溫度數(shù)據(jù),但是只要沒(méi)有超過(guò)我的預(yù)設(shè)值,數(shù)據(jù)都是直接丟棄不用的。只有超過(guò)預(yù)設(shè)值(比如我可以設(shè)置3個(gè)數(shù)值),才會(huì)向數(shù)據(jù)庫(kù)存儲(chǔ),并且通過(guò)服務(wù)器進(jìn)行分析,然后做出相應(yīng)的反應(yīng)。比如是有消防警示,或者啟動(dòng)滅火設(shè)備等。
批處理是把數(shù)據(jù)攢起來(lái),一段時(shí)間一次性處理的方法。而流處理,是不保存數(shù)據(jù),按照數(shù)據(jù)流的順序依次進(jìn)行處理。就是沒(méi)用的丟棄,沒(méi)用的繼續(xù)丟棄,有用的直接存儲(chǔ)。
想實(shí)時(shí)對(duì)數(shù)據(jù)做出反應(yīng)的時(shí)候,流處理就是一個(gè)很有效的處理方法??梢詼p少數(shù)據(jù)的存儲(chǔ)和提升效率。