農(nóng)業(yè)大數(shù)據(jù)管理整個(gè)生命周期

<p>1農(nóng)業(yè)大數(shù)據(jù)管理整個(gè)生命周期文 孫忠富 褚金翔 杜克明 鄭飛翔農(nóng)業(yè)大數(shù)據(jù)就是運(yùn)用大數(shù)據(jù)理念、 技術(shù)和方法， 解決農(nóng)業(yè)或涉農(nóng)領(lǐng)域數(shù)據(jù)的采集、 存儲(chǔ)、 計(jì)算與應(yīng)用等一系列問(wèn)題， 是大數(shù)據(jù)理念在農(nóng)業(yè)上的應(yīng)用和實(shí)踐。農(nóng)業(yè)涵蓋區(qū)域廣大， 涉及領(lǐng)域和內(nèi)容寬泛， 影響因素眾多， 數(shù)據(jù)采集復(fù)雜，決策管理閑難， 正因如此， 農(nóng)業(yè)是產(chǎn)生大數(shù)據(jù)的無(wú)盡源泉。由于農(nóng)業(yè)自身的特殊性， 農(nóng)業(yè)數(shù)據(jù)必如大量的文字、影像 、 圖片、 動(dòng)畫(huà)和聲音然從過(guò)去的基于結(jié)構(gòu)化的關(guān)系型數(shù)據(jù)， 向等形式的超媒體素材，以及專(zhuān)家經(jīng)驗(yàn)、 知半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)變。 相對(duì)于可識(shí)庫(kù)、 模型庫(kù)等。 非結(jié)構(gòu)化數(shù)據(jù)呈現(xiàn)出快以用二維表結(jié)構(gòu)來(lái)邏輯表達(dá)實(shí)現(xiàn)的數(shù)據(jù)來(lái)速增長(zhǎng)的勢(shì)頭 ， 其數(shù)量將大大超過(guò)結(jié)構(gòu)化說(shuō)， 農(nóng)業(yè)更適用于非結(jié)構(gòu)化的數(shù)據(jù)表達(dá) ，數(shù)據(jù)。農(nóng)業(yè)生產(chǎn)過(guò)程的主體是生物 ， 易受5 8高科技與產(chǎn)業(yè)化 月刊行業(yè)前瞻外界環(huán)境影響 ， 加上生物的多樣性和不確展到相關(guān)上下游產(chǎn)業(yè) （種子培育，化肥生產(chǎn)，定性、 個(gè)體與群體差異性以及人的管理等農(nóng)機(jī)生產(chǎn) ，詞料生產(chǎn) ， 屠宰業(yè)， 肉類(lèi)加工業(yè)因素 ， 都決定了對(duì)數(shù)據(jù)的采集、 處理和分等 ） ， 并整合宏觀經(jīng)濟(jì)背景的數(shù)據(jù) ， 包括統(tǒng)析等有著很高的要求。計(jì)數(shù)據(jù)、 進(jìn)出口數(shù)據(jù)、價(jià)格數(shù)據(jù)、生產(chǎn)數(shù)據(jù)、乃至氣象數(shù)據(jù)等， 覆蓋了整個(gè)農(nóng)業(yè)產(chǎn)業(yè)鏈。農(nóng)業(yè)大數(shù)據(jù)特點(diǎn)（ 4 ）數(shù)據(jù)變異性大作為大數(shù)據(jù)的子集， 農(nóng)業(yè)大數(shù)據(jù)在大首先 ， 影響農(nóng)業(yè)的因素異常復(fù)雜， 包數(shù)據(jù)的共同特征之外，還具有如下特點(diǎn)：括生物、 環(huán)境、 社會(huì)等方方面面 ， 都決定（ 1 ）涵蓋面廣了對(duì)數(shù)據(jù)的采集、 挖掘與分析應(yīng)用的難度。從地域來(lái)看 ，以國(guó)內(nèi)區(qū)域數(shù)據(jù)為核心， 其次，農(nóng)業(yè)生產(chǎn)過(guò)程的主體是生物， 易受借鑒國(guó)際農(nóng)業(yè)數(shù)據(jù)作為有效參考 ； 不僅包括外界環(huán)境和管理等因素制約 ，致使在隨機(jī)全國(guó)層面數(shù)據(jù)，還應(yīng)涵蓋省市數(shù)據(jù)，甚至性與不確定性、 多樣性與變異性、個(gè)體形地市級(jí)和基層部門(mén)的數(shù)據(jù)，為精準(zhǔn)區(qū)域研狀與群體差異性等特征非常明顯等。 另外，究提供基礎(chǔ) ；從力度來(lái)看， 不僅應(yīng)包括統(tǒng)整個(gè)農(nóng)業(yè)生產(chǎn)過(guò)程的很多環(huán)節(jié)， 目前距離標(biāo)計(jì)數(shù)據(jù)，還包括涉農(nóng)經(jīng)濟(jì)主體的基本信息、 準(zhǔn)化、 指標(biāo)化、 定量化和精準(zhǔn)化的要求相投資信息、 股東信息、專(zhuān)利信息 、 進(jìn)出口差甚遠(yuǎn)， 都是農(nóng)業(yè)大數(shù)據(jù)面臨的技術(shù)挑戰(zhàn)。信息、招聘信息 、媒體信息、坐標(biāo)信息等。（ 2 ）數(shù)據(jù)復(fù)雜智慧農(nóng)業(yè)的核心內(nèi)容從農(nóng)業(yè)大數(shù)據(jù)所涉及的主體范圍來(lái)看 ，關(guān)于智慧農(nóng)業(yè)目前尚無(wú)公認(rèn)的定義和包括農(nóng)、林、 牧、水產(chǎn)、獸醫(yī) 、 園藝、 土統(tǒng)一的標(biāo)準(zhǔn)， 綜合多方資料與分析， 智慧壤等整個(gè)農(nóng)業(yè)科學(xué)領(lǐng)域，其中主要對(duì)象又農(nóng)業(yè)的核心內(nèi)容可以歸納為以下幾個(gè)方面：涉及動(dòng)物、植物、 微生物、昆蟲(chóng)、 生態(tài)等（ 1 ）涵蓋范圍 ： 整個(gè)農(nóng)業(yè)， 是全部的而生命基礎(chǔ)學(xué)科，以及環(huán)境科學(xué)、食品科學(xué)不是局部的， 是全過(guò)程的而不是階段性的 ；等。 面對(duì)如此龐大的數(shù)據(jù)資源，從專(zhuān)業(yè)應(yīng)（ 2 ） 技術(shù)手段 ： 主要是基于各種先進(jìn)用來(lái)看，應(yīng)分步實(shí)施，首先是構(gòu)建農(nóng)業(yè)領(lǐng)的信息與網(wǎng)絡(luò)技術(shù)， 包括感知、傳輸和智域的專(zhuān)業(yè)數(shù)據(jù)資源， 其次應(yīng)逐步有序規(guī)劃能處理等技術(shù)， 實(shí)現(xiàn)以自動(dòng)化生產(chǎn)、 最優(yōu)專(zhuān)業(yè)的子領(lǐng)域數(shù)據(jù)資源， 例如針對(duì)某一作化控制、 數(shù)字化與網(wǎng)絡(luò)化服務(wù)、 智能化決物或某一領(lǐng)域的全過(guò)程數(shù)據(jù)采集，挖掘分策管理為主要生產(chǎn)方式 ；析， 預(yù)測(cè)和決策等。（ 3 ）整體目標(biāo) ： 實(shí)現(xiàn)農(nóng)業(yè)高效、 優(yōu)質(zhì)、（ 3 ） 數(shù)據(jù)鏈長(zhǎng) 節(jié)能、 環(huán)?？沙掷m(xù)發(fā)展。“智慧農(nóng)業(yè)”是個(gè)農(nóng)業(yè)大數(shù)據(jù)以農(nóng)業(yè)領(lǐng)域?yàn)楹诵?（ 涵蓋龐大的系統(tǒng)， 或者說(shuō)只是一個(gè)頂層的虛擬種植業(yè)、林業(yè)、畜牧業(yè)等子行業(yè) ） ， 逐步拓概念。其具體實(shí)現(xiàn)是由各領(lǐng)域的子系統(tǒng)組2 0 1 5 年 5 月號(hào)總第2 2 8 期5 9成 ， 如智能設(shè)施農(nóng)業(yè)、智能農(nóng)情、 智能植保、 利用衛(wèi)星搭載高精度感知設(shè)備， 獲取了土壤、智能灌溉、 智能市場(chǎng)管理等子系統(tǒng)。 隨著墑情、 水文等極為精細(xì)的農(nóng)業(yè)資源信息， 可以智慧農(nóng)業(yè)不斷深入發(fā)展， 物聯(lián)網(wǎng) 、 云計(jì)算、 配合農(nóng)業(yè)資源調(diào)度專(zhuān)家系統(tǒng) ， 實(shí)現(xiàn)智慧決策 ；大數(shù)據(jù)等先進(jìn)技術(shù)將更多地得到應(yīng)用。 充（ 2 ）在農(nóng)業(yè)生態(tài)環(huán)境的監(jiān)測(cè)和管理方分融合各領(lǐng)域知識(shí)庫(kù)、 模型庫(kù)、 運(yùn)用推理、 面， 利用傳感器感知技術(shù)、 信息融合傳輸分析等機(jī)制 ， 進(jìn)行預(yù)測(cè)并提供智能化控制技術(shù)和互聯(lián)網(wǎng)技術(shù) ， 構(gòu)建了農(nóng)業(yè)生態(tài)環(huán)境和決策管理 ， 是智慧農(nóng)業(yè)的關(guān)鍵所在。監(jiān)測(cè)網(wǎng)絡(luò)， 實(shí)現(xiàn)對(duì)農(nóng)業(yè)生態(tài)環(huán)境的自動(dòng)監(jiān)測(cè) ， 獲取了大量的監(jiān)測(cè)數(shù)據(jù)， 為智慧農(nóng)業(yè)智慧農(nóng)業(yè)的發(fā)展方向的發(fā)展提供了數(shù)據(jù)支持 ；現(xiàn)代設(shè)施農(nóng)業(yè)因基礎(chǔ)設(shè)施相對(duì)完備，可（ 3 ）在農(nóng)業(yè)生產(chǎn)過(guò)程的精細(xì)管理方面 ，控環(huán)境條件較好。 在設(shè)施農(nóng)業(yè)中 ， 通過(guò)自動(dòng)在大田種植、 設(shè)施農(nóng)業(yè)、 果園生產(chǎn)、 畜禽化網(wǎng)絡(luò)監(jiān)控系統(tǒng)， 實(shí)時(shí)采集溫室大棚內(nèi)各種水產(chǎn)養(yǎng)殖作業(yè)等方面， 獲得了大量的數(shù)據(jù)，環(huán)境要素參數(shù) （ 如空氣溫濕度、 土壤溫濕度、 為實(shí)現(xiàn)生產(chǎn)過(guò)程的智能化控制和科學(xué)化管0 2 、 光照、 露點(diǎn)溫度等環(huán)境參數(shù) ） ， 自動(dòng)理提供了數(shù)據(jù)依托， 為提高資源利用率和開(kāi)啟或者關(guān)閉指定設(shè)備 （ 如灌溉、 遮陽(yáng)、 通勞動(dòng)生產(chǎn)率奠定基礎(chǔ) ；風(fēng)、 加溫制冷等設(shè)備 ） ；根據(jù)用戶(hù)需求， 既（ 4 ） 在農(nóng)產(chǎn)品質(zhì)量溯源方面 ， 通過(guò)對(duì)為設(shè)施農(nóng)業(yè)綜合信息提供自動(dòng)監(jiān)測(cè)手段， 也農(nóng)產(chǎn)品生產(chǎn)、流通、 銷(xiāo)售過(guò)程的全程信息能為環(huán)境自動(dòng)化控制和智能化管理提供科學(xué)感知、傳輸、融合和處理， 實(shí)現(xiàn)農(nóng)產(chǎn)品“從依據(jù)。 另外， 本研究團(tuán)隊(duì)近年來(lái)研發(fā)的全國(guó)農(nóng)田到餐桌”的全程追溯，獲得了大量的小麥苗情物聯(lián)網(wǎng)監(jiān)控與診斷系統(tǒng)，通過(guò)實(shí)時(shí)中間數(shù)據(jù) ， 為農(nóng)產(chǎn)品質(zhì)量安全保駕護(hù)航 ；監(jiān)測(cè)農(nóng)田現(xiàn)場(chǎng)作物與環(huán)境信息、 各種災(zāi)害信（ 5 ） 在農(nóng)產(chǎn)品物流方面， 利用條形碼息等 ， 可以及時(shí)發(fā)布作物長(zhǎng)勢(shì)和災(zāi)情信息 ，技術(shù)和射頻識(shí)別技術(shù)實(shí)現(xiàn)產(chǎn)品信息的采集為田間優(yōu)化管理、 采取有效的防災(zāi)減災(zāi)措施跟蹤，獲得了大量的渠道數(shù)據(jù)， 可大大提提供信息服務(wù)。這些技術(shù)正在改變農(nóng)業(yè)管理高農(nóng)產(chǎn)品在倉(cāng)儲(chǔ)和貨運(yùn)中的效率，推動(dòng)智理念和生產(chǎn)方式，盡管還很不完善 ， 但巳展慧物流的發(fā)展。示出智慧農(nóng)業(yè)的初級(jí)形態(tài)?？傮w上看， 目前智慧農(nóng)業(yè)的發(fā)展尚處面臨的挑戰(zhàn)于初級(jí)階段，距離真正的“智慧”型還相農(nóng)業(yè)大數(shù)據(jù)技術(shù)目前處于起步階段，差很遠(yuǎn)。但通過(guò)大數(shù)據(jù)的挖掘分析， 必然主要面臨的以下幾個(gè)問(wèn)題。極大助推動(dòng)智慧農(nóng)業(yè)的發(fā)展。（ 1 ） 非結(jié)構(gòu)化數(shù)據(jù)的處理（ 1 ） 在農(nóng)業(yè)資源的精細(xì)監(jiān)測(cè)和調(diào)度方面，農(nóng)業(yè)大數(shù)據(jù)的來(lái)源不同 ， 有的來(lái)自物6 0高科技與產(chǎn)業(yè)化 月刊行業(yè)前瞻聯(lián)網(wǎng)中的射頻設(shè)備， 有的來(lái)自農(nóng)業(yè)信息化確率不再是主要指標(biāo)。 如何在農(nóng)業(yè)大數(shù)據(jù)的網(wǎng)站 ， 有的來(lái)自各種先進(jìn)的移動(dòng)終端等， 處理的實(shí)時(shí)性和準(zhǔn)確率之間取得平衡， 將這就導(dǎo)致數(shù)據(jù)類(lèi)型從以結(jié)構(gòu)化數(shù)據(jù)為主轉(zhuǎn)是未來(lái)農(nóng)業(yè)大數(shù)據(jù)研究的熱點(diǎn)。向結(jié)構(gòu)化、 半結(jié)構(gòu)化 、 非結(jié)構(gòu)化三者的融合。（ 4 ）數(shù)據(jù)質(zhì)量與安全結(jié)構(gòu)化數(shù)據(jù)， 即行數(shù)據(jù)， 存儲(chǔ)在數(shù)據(jù)庫(kù)里，農(nóng)業(yè)自身的復(fù)雜性決定了數(shù)據(jù)的多源可以用二維表結(jié)構(gòu)來(lái)邏輯表達(dá)實(shí)現(xiàn)，而非復(fù)雜性， 使數(shù)據(jù)質(zhì)量控制異常困難， 數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)則不方便用數(shù)據(jù)庫(kù)二維邏輯表管理和質(zhì)量控制技術(shù)難度大 ； 另外， 數(shù)據(jù)來(lái)表現(xiàn) ，非結(jié)構(gòu)化包括所有格式的辦公文安全問(wèn)題， 數(shù)據(jù)共享和知識(shí)產(chǎn)權(quán)等問(wèn)題，檔、文本、 圖片 、 、 、各類(lèi)報(bào)也給大數(shù)據(jù)研究帶來(lái)了諸多挑戰(zhàn)。農(nóng)業(yè)作表、 圖像和音視頻信息等。 如何將這些非為中國(guó)的基礎(chǔ)產(chǎn)業(yè) ， 面臨著農(nóng)產(chǎn)品需求不結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行統(tǒng)一的存儲(chǔ)， 如何分析斷增加 、 資源緊缺、 氣候變化導(dǎo)致災(zāi)害頻處理這些數(shù)據(jù)， 以及如何對(duì)數(shù)據(jù)進(jìn)行展示發(fā)、生態(tài)安全脆弱、 生物多樣性持續(xù)下降等 將是未來(lái)必須解決的問(wèn)題。等嚴(yán)峻挑戰(zhàn)。 夯實(shí)以農(nóng)業(yè)物聯(lián)網(wǎng)、云計(jì)算（ 2 ） 實(shí)時(shí)性的保證技術(shù)為核心的農(nóng)業(yè)信息化基礎(chǔ)， 建立以大隨著時(shí)間的流逝，數(shù)據(jù)中所蘊(yùn)含的知數(shù)據(jù)為支撐的農(nóng)業(yè)信息化服務(wù)、開(kāi)拓智慧識(shí)價(jià)值往往也在衰減 ，因此實(shí)時(shí)性也是農(nóng)農(nóng)業(yè)新局面， 實(shí)現(xiàn)農(nóng)業(yè)信息化的跨越式發(fā)業(yè)大數(shù)據(jù)分析過(guò)程中必須考慮的問(wèn)題。 尤展，是農(nóng)業(yè)現(xiàn)代化的必由之路。其是在與天氣、 環(huán)墳狀況相關(guān)的數(shù)據(jù)分析移動(dòng)互聯(lián)網(wǎng) 、 物聯(lián)網(wǎng)和云計(jì)算發(fā)展的的方面 ， 大數(shù)據(jù)的分析不及時(shí)可能會(huì)導(dǎo)致必然結(jié)果是走進(jìn)大數(shù)據(jù)時(shí)代，從本質(zhì)上看，農(nóng)業(yè)生產(chǎn)災(zāi)害的發(fā)生 。 由于數(shù)據(jù)量的密集，這些都是獲取數(shù)據(jù)和信息的手段， 產(chǎn)生大能否在所能接受的時(shí)間內(nèi)完成指定工作也數(shù)據(jù)、 創(chuàng)造大智慧才是終極目標(biāo)。 在大數(shù)成為農(nóng)業(yè)大數(shù)據(jù)技術(shù)發(fā)展的關(guān)鍵問(wèn)題。據(jù)時(shí)代 ， 數(shù)據(jù)就是一切， 擁有數(shù)據(jù)就意味（ 3 ） 數(shù)據(jù)的挖掘與分析著擁有價(jià)值， 就可以產(chǎn)生智慧， 產(chǎn)生財(cái)富。農(nóng)業(yè)大數(shù)據(jù)的異構(gòu)性導(dǎo)致農(nóng)業(yè)數(shù)據(jù)的在新一輪農(nóng)業(yè)現(xiàn)代化建設(shè)中， 要將農(nóng)業(yè)大類(lèi)型多種多樣， 并且由于數(shù)據(jù)集過(guò)大 ，使數(shù)據(jù)納入國(guó)家農(nóng)業(yè)信息化發(fā)展戰(zhàn)略， 夯實(shí)得傳統(tǒng)的數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)等算法不再智慧農(nóng)業(yè)的基石，讓大數(shù)據(jù)創(chuàng)造出真正的適用于對(duì)農(nóng)業(yè)大數(shù)據(jù)的挖掘。一方面 ， 云智慧 ，支撐智慧農(nóng)業(yè)的穩(wěn)健發(fā)展。明計(jì)算是農(nóng)業(yè)大數(shù)據(jù)處理的主要工具，傳統(tǒng)作者單位： 中國(guó)農(nóng)業(yè)科學(xué)院農(nóng)業(yè)環(huán)境與可持續(xù)發(fā)展研翅斤的算法并不能直接適用于農(nóng)業(yè)大數(shù)據(jù)的處注 ： 本文主要參考了 大數(shù)據(jù)在智慧農(nóng)業(yè)中研究與應(yīng)理平臺(tái) ；另一力面 ，農(nóng)業(yè)大數(shù)據(jù)的應(yīng)用有 用展望一文 （ 孫忠富等， 中國(guó)農(nóng)業(yè)科技導(dǎo)報(bào)， 2 0 1 3 ，一個(gè)很重要的特點(diǎn)就是實(shí)時(shí)性， 算法的準(zhǔn) 5 （ 6 ） ： 6 3 7 1 ， 其它參考文獻(xiàn)從略 ）2 0 1 5 年 5 月號(hào)總第 2 2 8期6 1</p>