溫室高架栽培草莓空間姿態(tài)識(shí)別與采摘點(diǎn)定位方法.pdf

null null null null 年 null 月 農(nóng) 業(yè) 機(jī) 械 學(xué) 報(bào) 第 nullnull 卷 第 null 期 nullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnull 溫室高架栽培草莓空間姿態(tài)識(shí)別與采摘點(diǎn)定位方法 畢 松 隗朋峻 劉仁學(xué) 北方工業(yè)大學(xué)電氣與控制工程學(xué)院 北京 nullnullnullnullnullnull 摘要 采摘目標(biāo)空間位姿信息缺失和目標(biāo)定位精度低是影響草莓采摘機(jī)器人采摘效果的關(guān)鍵因素之一 為此 本 文首先設(shè)計(jì)了基于顏色信息和卷積神經(jīng)網(wǎng)絡(luò)的草莓圖像目標(biāo)定位與分割以及目標(biāo)點(diǎn)云分割模型 其次 實(shí)現(xiàn)了基 于圖像的草莓可采摘性和遮擋程度識(shí)別模型 最后 設(shè)計(jì)了草莓空間定位和姿態(tài)估計(jì)模型并實(shí)現(xiàn)草莓采摘點(diǎn)定位 方法 基于本文方法對(duì)完整草莓位姿估計(jì)平均誤差為 nullnull nullnullnull 對(duì)遮擋草莓位姿估計(jì)平均誤差為 nullnull nullnullnull 采摘定位 綜合誤差為 nullnull null nullnull 在實(shí)際采摘實(shí)驗(yàn)中 采摘成功率為 nullnullnull nullnull 平均每個(gè)草莓的計(jì)算耗時(shí)約為 nullnull nullnull 單個(gè)草莓采 摘?jiǎng)幼鞯膱?zhí)行平均耗時(shí)約為 nullnull null null 實(shí)驗(yàn)結(jié)果表明 本文提出的方法可在溫室條件下較準(zhǔn)確地估計(jì)草莓空間位姿和 采摘點(diǎn) 為草莓采摘機(jī)器人提供有效的目標(biāo)定位信息 有效滿足實(shí)際采摘場(chǎng)景下的需求 關(guān)鍵詞 草莓 采摘 果實(shí)遮擋 點(diǎn)云分割 位姿估計(jì) 目標(biāo)定位 中圖分類號(hào) nullnullnullnullnull 文獻(xiàn)標(biāo)識(shí)碼 null 文章編號(hào) nullnullnullnullnullnullnullnullnull nullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnull 收稿日期 nullnullnullnull nullnullnull nullnullnull 修回日期 nullnullnullnull nullnullnull nullnullnull 基金項(xiàng)目 國(guó)家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目 nullnullnullnullnullnullnullnullnullnullnullnullnullnull 和北方工業(yè)大學(xué) nullnullnullnull 工程項(xiàng)目 nullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnull 作者簡(jiǎn)介 畢松 nullnullnullnullnull 男 副教授 博士 主要從事智能農(nóng)機(jī)設(shè)備研究 nullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnull nullnullnullnullnull nullnullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnull nullnullnullnull nullnullnull nullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnull College of Electrical and Control Engineering North China University of Technology Beijing nullnullnullnullnullnull China nullnullnullnullnullnullnullnull nullnullnull nullnullnullnull nullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnull nullnullnull nullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnull nullnullnull nullnullnull nullnull nullnullnull nullnullnull nullnullnullnullnullnullnullnull nullnullnullnull nullnullnullnullnull nullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnull nullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnull nullnullnullnullnullnullnull nullnullnullnullnull nullnullnullnullnullnullnullnull null nullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnull nullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnullnull nullnullnullnullnull nullnull nullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnull nullnullnull nullnullnullnullnullnull nullnullnullnullnull nullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnull nullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnull null nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnullnull nullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnull nullnullnull null nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnull nullnull nullnullnullnull nullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnull nullnull nullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnull nullnullnull nullnull nullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnull nullnull nullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnull nullnullnull nullnull nullnullnull nullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnull nullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnullnull nullnullnull nullnull null nullnullnull nullnull nullnullnull nullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnull nullnullnull nullnullnull nullnull nullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnullnull nullnull nullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnull nullnullnullnullnull nullnull nullnull nullnullnull nullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnull nullnullnullnull nullnull nullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnull nullnullnullnullnull nullnull null nullnull nullnullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnullnull nullnullnull nullnullnullnullnull nullnull nullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnull nullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnullnull nullnullnullnullnullnullnullnullnull nullnullnullnullnull nullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnull null 引言 隨著國(guó)內(nèi)人工成本的快速增長(zhǎng) 現(xiàn)有以人工作 業(yè)為主的種植和管理模式 已成為制約草莓產(chǎn)業(yè)發(fā) 展的重要因素之一 提高生產(chǎn)過(guò)程的自動(dòng)化和智能 化程度 能夠有效降低草莓生產(chǎn)過(guò)程的人力需求 采摘作業(yè)是草莓生產(chǎn)過(guò)程中人力需求集中的環(huán) 節(jié) 因此采摘作業(yè)自動(dòng)化能夠有效降低草莓生產(chǎn)過(guò) 程的人力需求 果實(shí)自動(dòng)采摘的基礎(chǔ)是能夠穩(wěn)定的 獲得草莓目標(biāo)空間位置 自然環(huán)境存在光照強(qiáng)度變 化 果實(shí)重疊 枝葉遮擋等干擾因素 因此在自然環(huán) 境下草莓目標(biāo)識(shí)別 定位與空間姿態(tài)估計(jì)是草莓自 動(dòng)采摘裝備的關(guān)鍵技術(shù) 自然環(huán)境獲得的草莓圖像存在背景變化 果實(shí) 光照不均 枝葉遮擋 果實(shí)重疊等干擾因素 識(shí)別和 定位草莓目標(biāo)受到國(guó)內(nèi)外相關(guān)領(lǐng)域?qū)＜业年P(guān)注 在 自然環(huán)境下草莓目標(biāo)的識(shí)別研究方面 趙世達(dá) null 設(shè) 計(jì)了基于圖像對(duì)比度分析的草莓識(shí)別方法 謝志勇 等 null 基于 nullnullnull 顏色空間模型和 nullnullnullnullnull 圓變換設(shè)計(jì) 了成熟草莓識(shí)別方法 nullnullnull 等 null 利用 nullnullnull 顏色模型 的灰色圖像提取草莓并計(jì)算位置 方向和形狀 nullnull 等 null 基于圖像 nullnullnull 特征和 nullnullnull 分類器完成草莓目 標(biāo)檢測(cè) 劉小剛等 null 基于伽馬變換增強(qiáng)的圖像實(shí)現(xiàn) 了夜間草莓識(shí)別 李鑫 null 使用 nullnullnullnullnullnullnullnull 網(wǎng)絡(luò)完成了 成熟草莓目標(biāo)的檢測(cè) 張繼成等 null 提出一種基于深 度殘差學(xué)習(xí)的草莓識(shí)別方法 解決了自然狀態(tài)下成 熟草莓存在背景干擾 信息丟失情況下的草莓目標(biāo) 識(shí)別問(wèn)題 nullnull 等 null 基于 nullnullnullnull 解決了由于枝葉遮 擋引起的果實(shí)檢測(cè)不準(zhǔn)確問(wèn)題 nullnull 等 null 基于 nullnullnullnull null null nullnullnull 提高了非結(jié)構(gòu)環(huán)境下水果的檢測(cè)精度 王 雪光等 nullnull 基于 null 均值聚類算法實(shí)現(xiàn)了成熟草莓的 識(shí)別 陳軍等 nullnull 使用目標(biāo)輪廓長(zhǎng)寬比區(qū)間窗口來(lái)提 高草莓識(shí)別準(zhǔn)確率 侯貴洋等 nullnull 使用顏色識(shí)別和特 征識(shí)別結(jié)合的方法計(jì)算草莓質(zhì)心坐標(biāo) 胡慶勝等 nullnull 基于 nullnullnullnull null null nullnullnull 解決了復(fù)雜環(huán)境下草莓目標(biāo)識(shí) 別率低的問(wèn)題 自然環(huán)境下草莓目標(biāo)識(shí)別存在識(shí)別精度和速度 較低 易受背景干擾的問(wèn)題 對(duì)圖像中草莓區(qū)域的 識(shí)別精度較低 不利于草莓姿態(tài)識(shí)別和采摘點(diǎn)定位 在自然環(huán)境下果實(shí)目標(biāo)定位研究方面 房愛(ài)青 等 nullnull 基于單目視覺(jué)結(jié)合測(cè)距傳感器提高了視覺(jué)定 位精度 張凱良等 nullnull 使用圖像結(jié)合激光測(cè)距有效檢 測(cè)了長(zhǎng)圓錐形草莓的果軸 郭峰等 nullnull 通過(guò)計(jì)算草莓 二值化圖像的慣性主軸來(lái)判斷草莓姿態(tài) nullnullnull 等 nullnull 利用點(diǎn)云數(shù)據(jù)獲得的葡萄簇和水平 null 棚架環(huán)境特征 實(shí)現(xiàn)采摘點(diǎn)定位策略 nullnullnullnullnull 等 nullnull 基于主果枝檢 測(cè)實(shí)現(xiàn)了自然環(huán)境下荔枝采摘點(diǎn)的檢測(cè) 張勤等 nullnull 融合深度信息和顏色特征實(shí)現(xiàn)了無(wú)遮擋情況下果實(shí) 采摘點(diǎn)識(shí)別 麥春艷等 nullnull 設(shè)計(jì)了基于點(diǎn)云的果實(shí)三 維球體形狀提取和質(zhì)心計(jì)算方法 劉德兒等 nullnull 使用 改進(jìn)的 nullnullnullnullnullnull 算法分割臍橙果實(shí) 外形擬合后得 到其相機(jī)坐標(biāo)系下的采摘點(diǎn) 姬麗雯等 nullnull 利用 null null nullnullnull 目標(biāo)檢測(cè)網(wǎng)絡(luò)結(jié)合雙目視覺(jué)實(shí)現(xiàn)成熟無(wú)遮擋 草莓的檢測(cè)及定位 羅陸鋒等 nullnull 根據(jù)目標(biāo)質(zhì)心坐標(biāo) 和葡萄簇邊緣信息確定采摘點(diǎn) 王丹丹等 nullnull 提出基 于平滑輪廓對(duì)稱軸法的蘋(píng)果目標(biāo)采摘點(diǎn)定位方法 司永勝等 nullnull 建立面積特征結(jié)合極線幾何實(shí)現(xiàn)了圓 形果實(shí)的定位 上述方法根據(jù)空間幾何原理估計(jì)草莓目標(biāo)的坐 標(biāo)和采摘點(diǎn) 但缺少對(duì)草莓目標(biāo)三維空間位姿分析 從而不能為采摘設(shè)備的末端提供精準(zhǔn)采摘姿態(tài) 信息 目前草莓識(shí)別定位的局限性體現(xiàn)在 只能識(shí)別 到圖像中草莓的大概位置 無(wú)法獲得草莓目標(biāo)的準(zhǔn) 確區(qū)域 空間定位方法不完整 無(wú)法獲得草莓的位 姿 僅有采摘點(diǎn)信息使采摘?jiǎng)幼鞯臏?zhǔn)確性和靈活性 受限 采摘效率降低 本文設(shè)計(jì)基于圖像和深度信息估計(jì)草莓位姿從 而實(shí)現(xiàn)草莓定位的方法 首先 基于成熟草莓目標(biāo) 的圖像特征先驗(yàn)信息 設(shè)計(jì)草莓目標(biāo)預(yù)定位方法 獲 得圖像中潛在的草莓區(qū)域 其次 基于圖像目標(biāo)識(shí) 別網(wǎng)絡(luò)進(jìn)一步定位圖像中的草莓目標(biāo) 由于卷積神 經(jīng)網(wǎng)絡(luò)定位目標(biāo)區(qū)域不夠具體 無(wú)法準(zhǔn)確獲取框選 區(qū)域中草莓所屬的像素區(qū)域 因此在草莓目標(biāo)區(qū)域 中利用語(yǔ)義分割網(wǎng)絡(luò)對(duì)草莓目標(biāo)進(jìn)行語(yǔ)義分割 從 而在自然圖像中獲得草莓的準(zhǔn)確像素區(qū)域 再次 通過(guò)草莓區(qū)域點(diǎn)云信息和草莓的形態(tài)特性完成草莓 位姿的估計(jì)并根據(jù)草莓位姿提取草莓的采摘點(diǎn) 最 后 基于本文方法獲得的采摘點(diǎn)在大族 nullnullnullnullnull nullnullnull 機(jī) 器人平臺(tái)完成自然環(huán)境下高架基質(zhì)栽培方式的草莓 采摘實(shí)驗(yàn) null 方法與模型 nullnull null 方法整體結(jié)構(gòu) 本文方法主要由 null 部分組成 自然圖像草莓區(qū) 域分割 草莓目標(biāo)可采摘性識(shí)別 草莓位姿估計(jì) 采 摘?jiǎng)幼魃?方法結(jié)構(gòu)如圖 null 所示 首先 在自然圖像草莓區(qū)域分割模塊中 以優(yōu)化 的對(duì)草莓顏色適應(yīng)性較高閾值對(duì)圖像進(jìn)行閾值分隔 獲得草莓圖像區(qū)域預(yù)定位 基于預(yù)定位結(jié)果利用訓(xùn) 練好的圖像目標(biāo)識(shí)別網(wǎng)絡(luò)對(duì)圖像中草莓區(qū)域進(jìn)行快 速定位 利用訓(xùn)練好的圖像分割網(wǎng)絡(luò)提取精確的草 莓目標(biāo)區(qū)域并提取圖像目標(biāo)區(qū)域形狀特征 其次 在草莓目標(biāo)可采摘性識(shí)別模塊中 使用提取出的圖 像區(qū)域形狀特征對(duì)草莓的可采摘性進(jìn)行識(shí)別 然 后 在草莓位姿估計(jì)模塊中 基于草莓區(qū)域的點(diǎn)云數(shù) 據(jù)和草莓的可采摘性結(jié)果估計(jì)草莓位姿和采摘點(diǎn)空 間位置坐標(biāo) 最后 在采摘?jiǎng)幼魃赡K中 基于計(jì) nullnull 農(nóng) 業(yè) 機(jī) 械 學(xué) 報(bào) null null null null 年 圖 null 方法整體結(jié)構(gòu)圖 nullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnull nullnullnull nullnullnullnullnullnull 算得到的采摘點(diǎn)序列計(jì)算最短采摘路徑并控制機(jī)器 人完成采摘作業(yè) nullnull null 自然環(huán)境圖像草莓點(diǎn)云分割 本文設(shè)計(jì)了自然環(huán)境下草莓目標(biāo)點(diǎn)云的精確分 割方法 精確分割的草莓目標(biāo)點(diǎn)云可為后續(xù)的草莓 位姿估計(jì)提供數(shù)據(jù)基礎(chǔ) 首先 在 nullnullnull 空間對(duì)草莓 目標(biāo)進(jìn)行預(yù)定位 確定圖像中草莓目標(biāo)潛在區(qū)域 其 次 利用圖像目標(biāo)識(shí)別模型 在預(yù)定位結(jié)果基礎(chǔ)上檢 測(cè)草莓位置區(qū)域 再次 利用語(yǔ)義分割網(wǎng)絡(luò)在草莓位 置區(qū)域圖像基礎(chǔ)上對(duì)草莓區(qū)域進(jìn)行像素分割 使用 像素分割后的草莓目標(biāo)區(qū)域圖像提取特征進(jìn)行草莓 的成熟性判斷 最后 使用成熟草莓的草莓目標(biāo)區(qū)域 圖像在深度數(shù)據(jù)中匹配獲得草莓目標(biāo)點(diǎn)云 自然環(huán) 境圖像草莓區(qū)域點(diǎn)云分割的方法流程如圖 null 所示 null 目標(biāo)預(yù)定位 溫室環(huán)境下高架基質(zhì)草莓目標(biāo)顏色與背景差異 較大 與背景相比其飽和度較高 色度范圍較大 由 于溫室環(huán)境下 光照 紋理等參數(shù)變化范圍較大 設(shè) 置較大的色度和飽和度區(qū)間有助于提高圖像中草莓 區(qū)域預(yù)分割效果 因此在 nullnullnull 色彩空間中 同時(shí)使 用 null 通道閾值目標(biāo)顏色分割可較好地完成草莓目標(biāo) 的預(yù)定位 利用區(qū)域形態(tài)學(xué)操作完成孔洞填充 去 除圖像噪聲后 獲得草莓圖像預(yù)定位 null 識(shí)別模塊 完成對(duì)草莓目標(biāo)的預(yù)定位處理后 需要對(duì)草莓 目標(biāo)進(jìn)行目標(biāo)定位和檢測(cè) nullnullnullnull 系列網(wǎng)絡(luò)是單階 段網(wǎng)絡(luò) 在檢測(cè)速度上有天然的優(yōu)勢(shì) 與農(nóng)業(yè)智能裝 備應(yīng)用更加適配 nullnullnullnull nullnull 相較于之前版本的 nullnullnullnull 采用了多尺度檢測(cè)的策略 可以檢測(cè)更小的 目標(biāo) 適用于草莓小目標(biāo) 相較于之后的 nullnullnullnull 版 本 nullnullnullnull nullnull 網(wǎng)絡(luò)在結(jié)構(gòu)上更加輕量化 在同時(shí)都滿 足目標(biāo)識(shí)別準(zhǔn)確度需求的情況下 推理速度更快 因此 本文使用 nullnullnullnull nullnull 標(biāo)準(zhǔn)網(wǎng)絡(luò)構(gòu)造識(shí)別模塊 首先 計(jì)算每個(gè)預(yù)定位目標(biāo)區(qū)域的質(zhì)心 以區(qū)域 質(zhì)心作為中心剪裁圖像并使用識(shí)別模塊從原始圖像 中搜索草莓目標(biāo) 對(duì)于預(yù)定位過(guò)程中正確找到的草 莓目標(biāo)區(qū)域 網(wǎng)絡(luò)會(huì)輸出草莓目標(biāo)的預(yù)測(cè)位置以及 置信度 對(duì)于預(yù)定位過(guò)程中誤識(shí)別的區(qū)域 網(wǎng)絡(luò)無(wú)輸 出 同時(shí)也代表著此區(qū)域無(wú)草莓 不再參與后續(xù)流程 的計(jì)算 null 分割模塊 由于目標(biāo)識(shí)別網(wǎng)絡(luò)輸出的圖像中 既包含草莓 目標(biāo)又包含目標(biāo)附近的背景 因此無(wú)法確定獲取草 莓目標(biāo)區(qū)域 該問(wèn)題將導(dǎo)致后續(xù)基于點(diǎn)云分析的草 nullnull第 null 期 畢松 等 溫室高架栽培草莓空間姿態(tài)識(shí)別與采摘點(diǎn)定位方法 圖 null 草莓區(qū)域點(diǎn)云分割流程圖 nullnullnullnullnull nullnullnullnull nullnullnullnullnull nullnull nullnullnullnullnull nullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnull 莓目標(biāo)空間定位誤差較大 因此利用語(yǔ)義分割方法 獲得草莓目標(biāo)像素級(jí)分割結(jié)果 為草莓姿態(tài)識(shí)別提 供有效的三維點(diǎn)云數(shù)據(jù) 將目標(biāo)圖像輸入到分割模 塊之前 對(duì)圖像進(jìn)行預(yù)處理 以保證整個(gè)草莓都能被 輸入到分割模塊之中 null 成熟性分析 獲得草莓目標(biāo)的區(qū)域分割圖像后 應(yīng)對(duì)草莓的 成熟性做出分析 以完成后續(xù)對(duì)成熟草莓目標(biāo)點(diǎn)云 的分割 成熟草莓與未成熟草莓的區(qū)域目標(biāo)圖像如 圖 null 所示 圖 null 成熟草莓與未成熟草莓目標(biāo)區(qū)域圖像 nullnullnullnullnull nullnullnullnullnull nullnull nullnullnullnullnullnull nullnullnullnull nullnull nullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnull 草莓的成熟與否在成熟區(qū)域特征上有明顯差 異 如圖 null 所示 成熟草莓圖像的凸包面積在區(qū)域 目標(biāo)圖像中 占比較大且較為集中 未成熟草莓圖像 的凸包面積 在區(qū)域目標(biāo)圖像中占比較小 區(qū)域目 標(biāo)圖像是由識(shí)別模塊輸出區(qū)域經(jīng)填補(bǔ)后等比縮放至 固定尺寸 再由草莓目標(biāo)分割模塊確定圖像中草莓 區(qū)域 因此利用目標(biāo)區(qū)域和草莓區(qū)域進(jìn)行成熟度評(píng) 價(jià)時(shí)圖像尺度具有一致性 因此 設(shè) S null 為草莓目標(biāo) 區(qū)域凸包像素面積 S null 為目標(biāo)圖像像素面積 以 F null null S null S null 作為草莓的成熟區(qū)域度特征 在未成熟 草莓分割圖像中 背景噪聲會(huì)對(duì)草莓真實(shí)區(qū)域造成 一定干擾 如圖 nullnull 中黃色圈所示 因此在計(jì)算目 標(biāo)區(qū)域面積時(shí) 通過(guò)圖像形態(tài)學(xué)操作去除圖像中的 細(xì)小碎塊區(qū)域后 再計(jì)算圖像的目標(biāo)區(qū)域面積和凸 包 通過(guò)對(duì) nullnullnull 幅草莓樣本圖像的分析 獲取其目 標(biāo)區(qū)域并計(jì)算區(qū)域度特征 特征數(shù)據(jù) F null 的箱型圖如 圖 null 所示 圖 null 草莓類別分布箱型圖 nullnullnullnullnull nullnullnull nullnullnullnull nullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnull 從圖 null 可以觀察到未成熟草莓的區(qū)域度特征分 布集中度較高 均分布在 nullnull nullnull 左右 而成熟草莓的 區(qū)域度較為分散 從最小值 nullnull nullnull 到最大值 nullnull nullnull 均 有分布 相對(duì)集中在 nullnull nullnull nullnullnull nullnull 區(qū)間 因草莓樣本 的多樣性及其品質(zhì)的隨機(jī)性 所得數(shù)據(jù)中有個(gè)別離 群點(diǎn) 紅色十字 但圖中數(shù)據(jù)分布仍能反映出可通 nullnull 農(nóng) 業(yè) 機(jī) 械 學(xué) 報(bào) null null null null 年 過(guò)區(qū)域度特征閾值方法成功區(qū)分成熟草莓與未成熟 草莓 當(dāng)把閾值設(shè)定在 nullnull null 時(shí) 對(duì)成熟草莓分類的 準(zhǔn)確率為 nullnullnull nullnullnull 對(duì)未成熟草莓分類的準(zhǔn)確率為 nullnullnull nullnullnull 滿足實(shí)際場(chǎng)景的應(yīng)用需求 null 點(diǎn)云分割 成熟草莓中 以草莓目標(biāo)精確分割區(qū)域?yàn)樗饕?結(jié)合配準(zhǔn)的深度信息矩陣 計(jì)算草莓區(qū)域的點(diǎn)云數(shù) 據(jù) 獲得精確分割的草莓目標(biāo)區(qū)域點(diǎn)云數(shù)據(jù) 為了 去除點(diǎn)云數(shù)據(jù)在獲取階段受到環(huán)境干擾導(dǎo)致的誤 差 需要對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行預(yù)處理 本文使用雙邊濾 波方法對(duì)草莓目標(biāo)點(diǎn)云區(qū)域進(jìn)行濾波去噪 雙邊濾 波算法通過(guò)使用當(dāng)前數(shù)據(jù)點(diǎn)與臨近點(diǎn)的距離權(quán)重 和臨近點(diǎn)沿當(dāng)前點(diǎn)法向量的投影權(quán)重來(lái)修正當(dāng)前采 樣中心點(diǎn)的位置 從而達(dá)到保持點(diǎn)云數(shù)據(jù)原特征的 目的 nullnull null 草莓位姿估計(jì) 自然生長(zhǎng)條件下草莓空間位姿估計(jì)是獲取草莓 采摘點(diǎn)的前提 本文設(shè)計(jì)了基于草莓幾何體形態(tài)的 中心位姿線估計(jì)方法 完整草莓的幾何體形狀近似 一個(gè)錐形 因此在點(diǎn)云空間中可把完整草莓曲面看 作半個(gè)圓錐面 估計(jì)草莓的位姿就是從點(diǎn)云提取的 半個(gè)錐面曲面中估計(jì)完整錐面的長(zhǎng)軸向量 本文設(shè) 計(jì)的草莓位姿估計(jì)方法 以每個(gè)數(shù)據(jù)點(diǎn)為中心 相鄰 點(diǎn)為鄰域擬合平面 依次計(jì)算每一個(gè)數(shù)據(jù)點(diǎn)的平面 法向量 以數(shù)據(jù)點(diǎn)坐標(biāo)為射線起點(diǎn) 數(shù)據(jù)點(diǎn)法向量 方向?yàn)樯渚€方向 構(gòu)造射線 把每一條射線看作圓錐 曲面與圓錐中心長(zhǎng)軸向量的連線 尋找所有射線之 間的交點(diǎn)作為潛在的草莓位姿點(diǎn) 最終對(duì)潛在草莓 位姿點(diǎn)濾波后使用最小二乘法進(jìn)行直線擬合 作為 草莓的空間位姿向量 具體流程如圖 null 所示 圖 null 完整草莓位姿估計(jì)流程圖 nullnullnullnullnull nullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnull nullnullnullnullnull null 生成 z 軸方向一致的表面法向量 由于草莓位姿方向和圓錐中心線方向一致且在 圓錐內(nèi)部 為了獲取草莓位姿數(shù)據(jù)點(diǎn)的潛在區(qū)域 需 要先獲取目標(biāo)點(diǎn)云曲面每一個(gè)點(diǎn)的法向量 對(duì)于平 滑去噪后目標(biāo)點(diǎn)云數(shù)據(jù)中的每個(gè)數(shù)據(jù)點(diǎn)使用最小二 乘法來(lái)擬合局部平面 并確定中心數(shù)據(jù)點(diǎn)的平面法 向量 具體過(guò)程如下 平面方程的一般表達(dá)為 Ax null By null Cz null D nullnull Cnullnull null 則有 z null null A C x null B C y null D C null 記 a null null null A C a null null null B C a null null null D C 那么 z null a null x null a null y null a null null 對(duì)于 n nnullnull 個(gè)點(diǎn) x i y i z i i null null null null n null null null 擬合平面方程 null 使得 S null null n null i null a null x i null a null y i null a null null z i null 最小 應(yīng)滿足 nullS nulla k nullnull k nullnull null null 則有 a nullnull x i a nullnull x i y i a nullnull x i null x i z i a nullnull x i y i a nullnull y null i a nullnull y i null y i z i a nullnull x i a nullnull y i a null n null z i null 求解線性方程組 null 可得到 a null a null a null 則 z null a null x null a null y null a null 令 D nullnull 解得參數(shù) A B C 故得到參 考點(diǎn)的法向量 N A B C null 為了符合圓錐體長(zhǎng)軸向量在圓錐內(nèi)部的特性 z 軸遠(yuǎn)點(diǎn)設(shè)置一個(gè)基準(zhǔn)點(diǎn) 把每個(gè)法向量的方向都 與此基準(zhǔn)點(diǎn)進(jìn)行比較 以保證每個(gè)數(shù)據(jù)點(diǎn)的法向量 z 軸分量指向圓錐內(nèi)部 法向量方向確定的具體方 nullnull第 null 期 畢松 等 溫室高架栽培草莓空間姿態(tài)識(shí)別與采摘點(diǎn)定位方法 法如下 設(shè)基準(zhǔn)點(diǎn)坐標(biāo)為 P null x null y null z null 待判斷方向的數(shù) 據(jù)點(diǎn)為 P null x null y null z null 點(diǎn) P null 的法向量為 N null A null B null C null 則數(shù)據(jù)點(diǎn)指向基準(zhǔn)點(diǎn)方向向量為 P k x null nullx null y null null y null z null null z null 因此 N null null N null C null z null null z null nullnull null N null C null z null null z null nullnull null null 點(diǎn)云質(zhì)心分區(qū) 對(duì)于保留了完整草莓曲面的無(wú)遮擋情況草莓 由于圓錐體沿中心線截面左右對(duì)稱 草莓目標(biāo)點(diǎn)云 也基本符合左右對(duì)稱的性質(zhì) 因此 以草莓目標(biāo)區(qū) 域圖像的質(zhì)心坐標(biāo)標(biāo)定出的點(diǎn)云數(shù)據(jù)點(diǎn)為原點(diǎn) x 軸 y 軸方向把草莓曲面分為 null 個(gè)區(qū)域 如圖 null 點(diǎn)云 質(zhì)心分區(qū)結(jié)果所示 null 個(gè)區(qū)域內(nèi)點(diǎn)云數(shù)據(jù)法向量的 x 和 y 方向應(yīng)指向圓錐體中心方向 null 位姿交點(diǎn)計(jì)算 為了找到圓錐的長(zhǎng)軸向量 將點(diǎn)云劃分為 null 個(gè) 區(qū)域后 依次以每個(gè)數(shù)據(jù)點(diǎn)為起點(diǎn) 數(shù)據(jù)法向量方向 為射線方向生成射線 在質(zhì)心分區(qū)的區(qū)域 null null null null 之間互相尋找射線交點(diǎn) 作為潛在的草莓位姿點(diǎn) 草莓位姿交點(diǎn)的軸向示意圖如圖 null 所示 圖 null 草莓位姿交點(diǎn)軸向示意圖 nullnullnu