蘋果四臂采摘機(jī)器人系統(tǒng)設(shè)計與試驗.pdf

農(nóng)業(yè)裝備工程與機(jī)械化 蘋果四臂采摘機(jī)器人系統(tǒng)設(shè)計與試驗 馮青春 趙春江 李 濤 陳立平 郭 鑫 謝 豐 熊子聰 陳凱文 劉 城 嚴(yán)童杰 1 北京市農(nóng)林科學(xué)院智能裝備技術(shù)研究中心 北京 100097 2 國家農(nóng)業(yè)智能裝備工程技術(shù)研究中心 北京 100097 3 農(nóng)業(yè)智能裝備技術(shù)北京市重點(diǎn)實驗室 北京 100097 摘 要 針對鮮食蘋果智能化高效采收需要 該研究設(shè)計了四臂并行采摘的 采 收 運(yùn) 一體式機(jī)器人系統(tǒng) 以代替人 工采收作業(yè) 以中國矮砧密植高紡錘果樹為對象 根據(jù)樹冠內(nèi)果實空間分布特征 提出了四臂并行采摘執(zhí)行部件的作業(yè) 方式 建立了基于多任務(wù)深度卷積網(wǎng)絡(luò)的果實可見區(qū)域識別模型 實現(xiàn)受遮擋果實離散區(qū)域語義分割及其歸屬關(guān)系的端 到端判別 在此基礎(chǔ)上 根據(jù)果實表面局部點(diǎn)云信息對其質(zhì)心進(jìn)行空間定位 提出了基于時間最優(yōu)的四臂協(xié)同采摘任務(wù) 規(guī)劃方法 以實現(xiàn)機(jī)械臂對樹冠內(nèi)不同區(qū)域的高效遍歷 最后在采摘機(jī)器人關(guān)鍵部件集成的基礎(chǔ)上 在矮砧密植標(biāo)準(zhǔn)果 園進(jìn)行生產(chǎn)試驗 試驗結(jié)果表明 機(jī)器人對樹冠內(nèi)可見果實的識別率為92 94 被識別果實中定位精度滿足機(jī)器人采 摘操作要求的比例為90 27 機(jī)器人平均采摘效率為7 12 s 果 其中四臂協(xié)同采摘效率約為單臂采摘效率的1 96倍 對可見果實采摘成功率為82 00 對樹冠內(nèi)全部果實的采收率為74 56 枝葉遮擋干涉是造成采摘失敗的主要原因 該研究可為鮮果智能化采摘模式的探索應(yīng)用提供技術(shù)支撐 關(guān)鍵詞 采摘 機(jī)器人 蘋果 多任務(wù)網(wǎng)絡(luò) 多臂協(xié)同 應(yīng)用試驗 doi 10 11975 j issn 1002 6819 202305114 中圖分類號 TP242 6 文獻(xiàn)標(biāo)志碼 A 文章編號 1002 6819 2023 13 0025 09 馮青春 趙春江 李濤 等 蘋果四臂采摘機(jī)器人系統(tǒng)設(shè)計與試驗 J 農(nóng)業(yè)工程學(xué)報 2023 39 13 25 33 doi 10 11975 j issn 1002 6819 202305114 http www tcsae org FENG Qingchun ZHAO Chunjiang LI Tao et al Design and test of a four arm apple harvesting robot J Transactions of the Chinese Society of Agricultural Engineering Transactions of the CSAE 2023 39 13 25 33 in Chinese with English abstract doi 10 11975 j issn 1002 6819 202305114 http www tcsae org 0 引 言 蘋果是全球種植規(guī)模最大的鮮果之一 中國蘋果種 植面積約200萬hm2 年產(chǎn)量4 300萬t 約為全球總產(chǎn) 量55 1 是全球鮮果安全供應(yīng)的必要保障 果實采收 是果園生產(chǎn)中的復(fù)雜生產(chǎn)環(huán)節(jié) 涉及采摘 收集和運(yùn)輸 等工序 機(jī)械化率不足3 2 人工采摘綜合效率每人每 天僅約200 300 kg 近年來 果園采摘 雇工難 雇工 貴 的問題日益凸顯 采摘人工成本上漲已經(jīng)成為制約 中國鮮果產(chǎn)業(yè)效益提升的重要因素 研發(fā)具有自主采收 功能的機(jī)器人 3 5 以代替或者輔助人工收獲鮮果 具有 良好的應(yīng)用前景 在全球受到廣泛關(guān)注 隨著標(biāo)準(zhǔn)化果園生產(chǎn)技術(shù)和人工智能技術(shù)理論的突 破性發(fā)展 以蘋果 6 草莓 7 番茄 8 和獼猴桃 9 等大宗 鮮果為對象 一系列鮮果采摘機(jī)器人商業(yè)化產(chǎn)品被研發(fā) 和應(yīng)用 代表性的機(jī)器人產(chǎn)品包括 ARAD等 10 開發(fā) 了SWEEPER溫室甜椒收獲機(jī)器人可晝夜在溫室內(nèi)工作 在狹窄植株間采用一組工業(yè)機(jī)械臂和果柄切割式的采摘 執(zhí)行器 實現(xiàn)果實自主采摘 收集和運(yùn)輸 采摘成功率 平均61 采摘效率24 s 果 美國Abundant Robotics公 司 11 研發(fā)的蘋果采摘機(jī)器人 由一組并聯(lián)機(jī)械臂操作吸 附式采摘執(zhí)行器進(jìn)行果實采摘 對V形樹冠果樹的平均 采摘效率為2 s 果 新西蘭Robotics Plus公司 9 推出了 獼猴桃四臂并行采摘機(jī)器人 綜合采收效率約5 5 s 果 果實識別率76 3 成功收獲率51 以色列FFRob otics公司 6 研發(fā)的蘋果采摘機(jī)器人 采用本體兩側(cè)對稱 分布的12組機(jī)械臂進(jìn)行并行采摘 對標(biāo)準(zhǔn)化果樹的采摘 效率約為1 8 s 果 西班牙Agrobot公司 7 研發(fā)的草莓采 摘機(jī)器人 最多可擴(kuò)展24組手臂進(jìn)行并行采摘 單臂采 摘效率約5 s 果 鑒于單臂采摘效率難以滿足實際生產(chǎn) 需要 采 收 運(yùn) 一體作業(yè)的多臂采摘系統(tǒng)是鮮果采 摘機(jī)器人發(fā)展的重要趨勢 目前國內(nèi)鮮果采摘機(jī)器人技 術(shù)攻關(guān)和示范應(yīng)用具備了良好的基礎(chǔ) 12 17 然而多臂并 行采摘機(jī)器人的相關(guān)研究尚處于探索階段 本文面向中國典型標(biāo)準(zhǔn)化蘋果園工況條件 設(shè)計了 具備 采摘 收集 運(yùn)輸 一體作業(yè)功能的四臂并行采摘 機(jī)器人 對其采摘機(jī)械臂 末端執(zhí)行器 果實識別定位 以及四臂協(xié)同控制等核心部件進(jìn)行詳細(xì)介紹 通過果園 現(xiàn)場應(yīng)用試驗 對機(jī)器人的關(guān)鍵性能進(jìn)行驗證和分析 為果園智能化采收裝備研發(fā)與應(yīng)用提供參考 收稿日期 2023 05 16 修訂日期 2023 06 21 基金項目 北京市科技新星計劃 20220484023 北京市科技計劃課題 Z201100008020009 北 京 市 農(nóng) 林 科 學(xué) 院 青 年 科 研 基 金 項 目 QNJJ202318 作者簡介 馮青春 博士 副研究員 研究方向為農(nóng)業(yè)機(jī)器人 Email fengqc 通信作者 陳立平 博士 研究員 研究方向為農(nóng)業(yè)智能裝備 Email chenlp 第 39 卷 第 13 期 農(nóng) 業(yè) 工 程 學(xué) 報 Vol 39 No 13 2023 年 7 月 Transactions of the Chinese Society of Agricultural Engineering July 2023 25 1 機(jī)器人作業(yè)工況與原理介紹 1 1 矮砧密植紡錘形樹形 中國標(biāo)準(zhǔn)化蘋果園主要以矮砧密植的高紡錘樹形為 主 18 19 具有樹形緊湊 樹行空間開闊 通風(fēng)透光 便 于機(jī)械化作業(yè)等優(yōu)勢 如圖1a所示 果樹行距約為 3 5 4 5 m 株距1 0 1 5 m 主干高度3 0 3 5 m 主 干四周交錯生長30 40個主枝 主枝直接生長結(jié)果枝條 圖1b 主枝生長過程中受鋼絲繩固定約束 伸展方向 與主干約90 樹冠寬度1 0 1 5 m 厚度約為0 8 1 0 m 1 0 1 5 m 3 5 4 5 m 主枝 Main trunk 主干 Main branch a 株行間距 a Row and line space b 紡錘樹形 b Spindle shaped tree 圖1 矮砧密植標(biāo)準(zhǔn)果園 Fig 1 Standardized orchard of dwarf rootstock 1 2 采摘作業(yè)空間 采摘機(jī)器人的目標(biāo)作業(yè)空間由果實在樹冠內(nèi)的空間 分布情況決定 受紡錘樹形枝條形態(tài)約束 樹冠內(nèi)果實 空間分布密度各不相同 以5年樹齡富士蘋果樹為例 將其樹冠劃分為邊長200 mm的正方體采樣塊 其中距 地面高度 1 0 m的區(qū)域?qū)儆跇涔诘讓?1 0 2 0 m屬于 樹冠中層 2 0 m以上區(qū)域為樹冠高層 統(tǒng)計每個采樣塊 果實數(shù)量可得 紡錘形樹冠內(nèi)果實密度自上向下 由外 而內(nèi)逐漸增加 95 以上果實主要分布在高度0 6 2 8 m 主干周圍0 4 m的空間區(qū)域 鑒于采摘執(zhí)行部件緊湊性 設(shè)計需要 將此區(qū)域設(shè)定為采摘機(jī)器人的目標(biāo)作業(yè)空間 如圖2所示 對于單側(cè)樹冠進(jìn)行采摘作業(yè)時 該區(qū)域為 寬度1 2 m 厚度0 4 m 高度2 2 m長方體空間 1 0 2 0 0 5 1 5 3 0 2 5 0 40 0 2 0 2 0 4 0 內(nèi)膛 Internal 外圍 Periphery 外圍 Periphery 樹冠高層 Upper canopy 樹冠中層 Middle canopy 樹冠底層 Lower canopy 0 4 0 0 2 0 2 0 4 0 40 0 2 0 2 0 4 采摘目標(biāo)區(qū)域 Target area for harvesting 單位 Unit m a 正視圖 a Front view b 俯視圖 b Top view 圖2 樹冠內(nèi)采摘作業(yè)空間 Fig 2 Harvesting workspace in canopy 1 3 采摘機(jī)器人系統(tǒng)作業(yè)原理 如圖3所示 蘋果四臂采摘機(jī)器人系統(tǒng)主要包括采 摘執(zhí)行部件 果實感知深度相機(jī) 移動承載平臺以及能 源動力單元等 四組深度相機(jī)分別固定安裝于采摘臂上 方 可隨其水平和垂直運(yùn)動 根據(jù)樹冠內(nèi)的采摘作業(yè)目 標(biāo)區(qū)域 預(yù)先設(shè)定采摘臂的圖像采集姿態(tài) 攝像機(jī)隨采 摘臂以執(zhí)行部件中心對稱分布 其總體視場需要覆蓋作 業(yè)區(qū)域 機(jī)器人由人工駕駛在果樹行間移動 對果樹進(jìn) 行逐一停車采摘 停車位置需保證采摘執(zhí)行部件與樹冠 豎直中心近似對齊 對果樹自主采摘作業(yè)流程主要包括 1 4組采摘臂運(yùn)動至圖像采集姿態(tài) 隨其同步運(yùn)動的4 個深度相機(jī)采集樹冠不同區(qū)域圖像 并對其中可見果實 進(jìn)行識別定位 2 鑒于各個深度相機(jī)坐標(biāo)系隨采摘臂運(yùn) 動的位姿變化 可由采摘執(zhí)行部件的電機(jī)編碼器測量確 定 基于各個深度相機(jī)與機(jī)器人本體之間坐標(biāo)系的變換 關(guān)系 可將其視場內(nèi)的所有果實空間坐標(biāo)轉(zhuǎn)化到機(jī)器人 本體全局坐標(biāo)系下 在全局坐標(biāo)系下 對于中心距小于 特定距離 果實平均直徑 的果實 則認(rèn)定其為同一果 實 從而剔除多視場圖像內(nèi)的重復(fù)定位果實 在此基礎(chǔ) 上 根據(jù)各個果實在全局坐標(biāo)系下的空間位置劃分其所 屬采摘區(qū)域 并求解四組采摘臂各自采摘任務(wù)序列 3 采摘臂依次對各自任務(wù)序列內(nèi)每個果實進(jìn)行采摘 根 據(jù)視覺單元對果實初次定位數(shù)據(jù) 采摘臂完成水平和垂 直運(yùn)動后 攝像機(jī)再次獲取目標(biāo)果實的空間坐標(biāo)以校正 初次定位數(shù)據(jù) 4 采摘手爪到達(dá)預(yù)定果實位置并完成采 摘動作后 根據(jù)夾持驅(qū)動舵機(jī)電流反饋判斷手爪內(nèi)是否 有果實被成功采摘 當(dāng)手爪內(nèi)沒有果實 即采摘操作失 敗 則重復(fù)步驟3 進(jìn)行第二次嘗試 每個果實最多重 復(fù)3次嘗試 5 所有采摘臂完成各自任務(wù)序列 否則認(rèn) 為當(dāng)前樹冠內(nèi)果實的采摘任務(wù)結(jié)束 機(jī)器人需要移動至 下一棵樹進(jìn)行采摘 2號采摘臂 Arm No 2 1號采摘臂 Arm No 1 4號采摘臂 Arm No 4 3號采摘臂 Arm No 3 果實收集傳送帶 Fruit conveyor belt 移動承載平臺 Mobile platform 深度相機(jī) Deapth camera 圖3 蘋果四臂采摘機(jī)器人樣機(jī) Fig 3 Prototype of four arm apple harvesting robot 2 采摘機(jī)器人關(guān)鍵部件設(shè)計 2 1 四臂并行采摘執(zhí)行部件構(gòu)成與原理 采摘執(zhí)行部件主要包括采摘臂 采摘手爪以及果實 收集部件 20 如圖4所示 鑒于近似球形蘋果的質(zhì)心可 直接作為采摘定位依據(jù)而無需考慮操作姿態(tài) 采摘手爪 運(yùn)動定位由3個直線運(yùn)動自由度實現(xiàn) 包括水平運(yùn)動 垂直運(yùn)動 伸縮運(yùn)動 且每兩組采摘臂共用一組垂直運(yùn) 動驅(qū)動機(jī)構(gòu) 同步進(jìn)行上下伺服運(yùn)動 其各自水平運(yùn)動 互為獨(dú)立 由于果實受重力牽引自然下垂 其主要分布 26 農(nóng)業(yè)工程學(xué)報 http www tcsae org 2023 年 于枝干和葉片下方 為了減少枝葉對果實的遮擋 每組 采摘臂以向上傾斜姿態(tài)對果實進(jìn)行采摘 采摘臂采用電 動和氣動組合式兩級伸縮運(yùn)動 以實現(xiàn)采摘手爪在樹冠 和機(jī)器人本體之間頻繁高效的往復(fù)運(yùn)動 其中機(jī)器人本 體與樹冠邊緣之間采用氣動驅(qū)動伸縮 樹冠內(nèi)部的精確 定位采用電動伺服驅(qū)動伸縮 1 2 5 3 4 6 7 8 9 1 水平運(yùn)動驅(qū)動機(jī)構(gòu) 上 2 采摘手爪 3 采摘臂 4 果實傳送帶 上 5 水 平運(yùn)動驅(qū)動機(jī)構(gòu) 下 6 果實傳送帶 下 7 垂直運(yùn)動驅(qū)動機(jī)構(gòu) 8 底座 1 Horizontal drive mechanism upper 2 Picking end effector 3 Picking arm 4 Fruit conveyor belt upper 5 Horizontal drive mechanism lower 6 Fruit conveyor belt lower 7 Vertical drive mechanism 8 Base 圖4 采摘執(zhí)行部件構(gòu)成 Fig 4 Structural composition of harvesting manipulator 果實收集部件包括2組與水平運(yùn)動機(jī)構(gòu)固定連接的 水平傳送帶和1組立式傳送帶 采摘手爪將果實從枝干 分離后 將其釋放于水平傳送帶上 果實先后經(jīng)水平和 立式傳送帶輸送至收納筐 2 2 驅(qū)控一體式采摘手爪 鑒于果柄與枝干之間的離層組織容易受旋轉(zhuǎn)切向力 脫落 設(shè)計了旋擰 拉拽組合式采摘手爪 21 以促進(jìn)果實 與枝干的高效分離 如圖5所示 采摘手爪包括3個陣 列分布的TPU橡膠材質(zhì)手指 手指夾持驅(qū)動機(jī)構(gòu)及其旋 擰驅(qū)動機(jī)構(gòu) 手爪接近果實后 手指同步閉合對果實進(jìn) 行夾持 而后進(jìn)行旋擰將果實從枝干分離下來 1 2 3 4 1 手指 2 夾持驅(qū)動機(jī)構(gòu) 3 旋擰驅(qū)動機(jī)構(gòu) 4 底座 1 Fingers 2 Grasing drive mechanism 3 Twisting drive mechanism 4 Base 圖5 旋擰采摘手爪 Fig 5 Twist typed picking end effector 為了保證采摘手爪具有良好擴(kuò)展性 手爪內(nèi)置支持 CANopen總線通訊的驅(qū)動器與機(jī)器人主控制器直接進(jìn)行 數(shù)據(jù)通訊 圖6 其中的數(shù)據(jù)處理模塊負(fù)責(zé)手爪控制數(shù) 據(jù)幀解碼 手爪狀態(tài)反饋數(shù)據(jù)幀編碼以及總線數(shù)據(jù)實時 收發(fā) 此外 舵機(jī)驅(qū)動模塊可以將舵機(jī)內(nèi)部線圈電流值 通過總線向主控制器進(jìn)行實時反饋 主控制器根據(jù)電流 大小判斷手爪是否與果實穩(wěn)定接觸以及果柄是否被分離 主控制器 手爪內(nèi)置 驅(qū)動器1 手爪內(nèi)置 驅(qū)動器2 手爪內(nèi)置 驅(qū)動器3 手爪內(nèi)置 驅(qū)動器4 CANopen總線 總線數(shù)據(jù) 處理模塊 總線數(shù)據(jù) 處理模塊 總線數(shù)據(jù) 處理模塊 總線數(shù)據(jù) 處理模塊 雙舵機(jī) 驅(qū)動模塊 雙舵機(jī) 驅(qū)動模塊 雙舵機(jī) 驅(qū)動模塊 雙舵機(jī) 驅(qū)動模塊 采摘手爪1采摘手爪2采摘手爪3采摘手爪4 圖6 多采摘手爪總線擴(kuò)展 Fig 6 Multiple end effectors connected by CANopen 2 3 果實識別與定位方法 1 果實離散可見區(qū)域識別 果實分布于叢生密集的枝葉當(dāng)中 其在機(jī)器人視場中 多數(shù)為受遮擋狀態(tài) 表現(xiàn)為葉片遮擋 枝干遮擋以及果實 相互遮擋等情況 使得果實整體被劃分為離散的像素區(qū)域 果實離散可見區(qū)域識別及其所屬果實判定 是機(jī)器人感知 采摘目標(biāo)的基礎(chǔ) 當(dāng)前基于深度學(xué)習(xí)像素分割模型 22 23 主要以在特定包圍框內(nèi)的聯(lián)通像素區(qū)域進(jìn)行分割 其無法 對同一個果實的離散區(qū)域進(jìn)行歸類 為了實現(xiàn)群體果實離 散可見區(qū)域 端到端 的檢測 分割和歸類 提出了具備 第 13 期 馮青春等 蘋果四臂采摘機(jī)器人系統(tǒng)設(shè)計與試驗 27 果實區(qū)域檢測與實例分割雙重功能的多任務(wù)深度卷積網(wǎng)絡(luò) 模型 24 如圖7所示 該網(wǎng)絡(luò)由YOLOv4 25 架構(gòu)改進(jìn)而 來 包含一個共享的編碼網(wǎng)絡(luò)和兩個承擔(dān)不同任務(wù)的解碼 網(wǎng)絡(luò) 編碼網(wǎng)絡(luò)包括CSPDarknet 25 特征提取主干網(wǎng)絡(luò)以 及空間金字塔池化模塊 SPP 25 和特征金字塔模塊 FPN 25 構(gòu)成的頸部網(wǎng)絡(luò) 解碼網(wǎng)絡(luò)中的檢測分支保 留YOLOv4檢測頭部網(wǎng)絡(luò) 由路徑聚合網(wǎng)絡(luò) PANet 25 將FPN輸出的特征圖由底層向頂層進(jìn)一步融合后進(jìn)行3 個尺度的預(yù)測 獲得果實區(qū)域整體邊框 解碼網(wǎng)絡(luò)中分割 分支對FPN的底層特征進(jìn)行3次基于最鄰近插值的逆卷 積上采樣 得到與原始圖像大小一致的二維特征圖 獲得 每個像素屬于果實或背景區(qū)域的置信度 從而實現(xiàn)對果實 可見部分像素的語義分割 在此基礎(chǔ)上 對視場內(nèi)每個果 實整體檢測邊框和離散分割區(qū)域進(jìn)行位置匹配 對于質(zhì)心 分布于相同邊框內(nèi)的像素 則認(rèn)為其屬于同一個果實 從 而明確了離散果實可見區(qū)域的歸屬 SPP w h 32 w 2 h 2 64 w 4 h 4 128 w 8 h 8 256 w 16 h 16 512 w 32 h 32 1 024 FPN PAN w h 圖像寬和高Image width and height 上采樣卷積Upsampled convolution 下采樣卷積Downsampled convolution 3 特征層堆疊Feature layer concat 邊框檢測輸出 Bouding box output 語義分割輸出 Semantic output 坐標(biāo)匹配 Coordinate matching 原始圖像 Original image CSPDarknet w h 3 圖7 果實識別多任務(wù)網(wǎng)絡(luò)模型 Fig 7 Fruit identification based on multi task DCNN 2 果實質(zhì)心空間定位測量 Pc 在獲得果實邊框圖像位置和可見區(qū)域語義信息基礎(chǔ) 上 需要根據(jù)深度點(diǎn)云信息對球果質(zhì)心進(jìn)行空間定位 以引導(dǎo)機(jī)器人進(jìn)行采摘操作 然而自然光條件下深度相 機(jī)獲得的點(diǎn)云圖像通常存在空洞 飛點(diǎn)和扭曲等噪聲 需要去除噪聲確保果實表面點(diǎn)云數(shù)據(jù)準(zhǔn)確 密度聚類算 法 DBSCAN 26 可以根據(jù)點(diǎn)云分布的緊密程度對其進(jìn) 行聚類 且無需指定預(yù)期的簇群數(shù)量 通過DBSCAN對 果實可見區(qū)域的點(diǎn)云進(jìn)行分析 求取其中點(diǎn)數(shù)最多的聚 類 則認(rèn)為是果實表面精準(zhǔn)點(diǎn)云數(shù)據(jù) 可求其質(zhì)心 Pc d w Ku d Ku w Pc d P0 如圖8所示 由攝像機(jī)投影成像原理可知 目標(biāo)檢 測網(wǎng)絡(luò)輸出果實包圍框的空間投影與其在像平面區(qū)域的 連線 形成三維視錐體結(jié)構(gòu) 27 且果實質(zhì)心位于錐體中 心線上 將 點(diǎn)深度截面對應(yīng)的果實包圍框?qū)挾冉普J(rèn) 為果實的直徑 其可由果實包圍框的像素寬度 和攝 像機(jī)內(nèi)參因子 計算為 以 為中心 為直 徑做輔助球 球表面與視錐體中心線的遠(yuǎn)端交點(diǎn)可作為 果實球體質(zhì)心 即采摘執(zhí)行部件接近果實的目標(biāo)點(diǎn) 2 4 四臂協(xié)同采摘任務(wù)規(guī)劃 1 樹冠采摘區(qū)域劃分 鑒于樹冠內(nèi)膛果實密集 外圍果實稀疏的特點(diǎn) 如 圖9a所示 將樹冠均等劃分為 4個單臂作業(yè)區(qū) 4個 雙臂作業(yè)區(qū)以及1個四臂作業(yè)區(qū) S1 S2 S3及S4分 別為1 4號采摘臂專屬的單臂采摘區(qū)域 D1 D2 D3 及D4分別為1號和2號采摘臂 3號和4號采摘臂 1 號和3號采摘臂及2號和4號采摘臂共同作業(yè)的雙臂采 摘區(qū)域 F為4組采摘臂共同作業(yè)的四臂采摘區(qū)域 各 個采摘臂依次遍歷各自采摘區(qū)域的順序設(shè)定為 單臂區(qū) 域 雙臂區(qū)域 四臂區(qū)域 為了防止同一作業(yè)區(qū)內(nèi)多臂 并行采摘造成樹干振動 影響彼此對果實的精準(zhǔn)操作 采用多臂交替作業(yè)模式對共享區(qū)域進(jìn)行采摘 即同一時 刻每個共享區(qū)域只允許單個采摘臂進(jìn)入 一個采摘臂完 成采摘操作縮回放果時 另一個采摘臂才可以進(jìn)入同一 區(qū)域 圖像平面 Image plane 果實表面點(diǎn)云 3D point cloud on fruit 輔助球體 Auxiliary sphere P0 w 透視錐體 Projection pyramid 果實邊框 Fruit bounding box Pc P0 Pc w 注 為果實質(zhì)心 為輔助球體中心 為果實邊框像素寬度 P0 Pc w Note is fruit s centroid is auxiliary sphere centroid is width of fruit bounding box 圖8 果實質(zhì)心定位原理 Fig 8 Fruit centroid location principle 2 四臂采摘任務(wù)最優(yōu)次序求解 采摘目標(biāo)高效遍歷是多臂協(xié)同采摘任務(wù)規(guī)劃的主要 目標(biāo) 本文直角坐標(biāo)式采摘臂末端空間運(yùn)動距離與果實 空間距離線性相關(guān) 若忽略采摘臂加減速過程及其各關(guān) 節(jié)運(yùn)動速度差異 果實依次遍歷的路徑長度可表征機(jī)器 人作業(yè)耗時 為了求解四臂遍歷果實的總體時間最短問 題 提出了基于遺傳算法的果實采摘任務(wù)規(guī)劃描述方 法 28 如圖9b所示 對4組采摘臂隨機(jī)依次分配各自作 業(yè)區(qū)域內(nèi)的采摘對象 形成各自采摘任務(wù)序列 4組采 摘臂與其作業(yè)區(qū)域內(nèi)每個果實的依次組合 即可確定為 一組遺傳算法的有效解 28 農(nóng)業(yè)工程學(xué)報 http www tcsae org 2023 年 S1 S2 S3 S4 D1 D2 D3 D4F nS1 nD1 1號采摘臂 專屬任務(wù)序列 2號采摘臂 專屬任務(wù)序列 3號采摘臂 專屬序列 4號采摘臂 專屬任務(wù)序列 1 2號采摘臂 交替任務(wù)序列 3 4號采摘臂 交替任務(wù)序列 1 3號采摘臂 交替任務(wù)序列 2 4號采摘臂 交替任務(wù)序列 S1區(qū)果實S2區(qū)果實S3區(qū)果實S4區(qū)果實 D1區(qū)果實D2區(qū)果實D3區(qū)果實D4區(qū)果實 F區(qū)果實 時刻TS1 時刻 D1t n1 任務(wù)規(guī)劃的一組解 a 采摘區(qū)域劃分 a Harvesting area division b 采摘臂任務(wù)序列生成 b Picking arm task sequence generation nS1 nD1 TS1 tD1n 1 注 為S1區(qū)域第n個果實 為D1區(qū)域第n個果實 為1號采摘臂在S1區(qū)域耗時 為1號采摘臂先后完成S1和D1區(qū)域任務(wù)的耗時 nS1 nD1 TS1 tD1n 1 Note is fruit n in S1 area is fruit n in D1 area is task time cost of arm No 1 in S1 area is task time cost of arm No 1 in S1 and D1 area successively 圖9 四臂協(xié)同采摘任務(wù)規(guī)劃 Fig 9 Task planning for four arm collaborative harvesting NS1 TS1 v nS1 1 nS1 dS1 n 1 n TS1 TS2 TS3 TS4 以1號采摘臂為例 其對專屬的S1作業(yè)區(qū)域內(nèi) 個果實采摘時間 由果實遍歷路徑長度直接決定 令其 末端手爪在果實間遍歷的移動速度為 其任務(wù)序列中相 鄰果實 和 間距離為 則 可由式 1 計算 同理可得2 4號采摘臂分別對S2 S4區(qū)域的采摘時間 和 TS1 1v NS1 nS1 1 dS1n 1 n 1 nD11 tD1n1 在完成單臂采摘區(qū)域任務(wù)序列基礎(chǔ)上 1號采摘臂 對其D1雙臂采摘區(qū)域任務(wù)序列中果實 遍歷時刻 為 tD1n1 TS1 1v nD11 1 dnD11 nD11 1 2 d nD11 nD11 1 nD11 nD11 1 為1號機(jī)械臂在 D1 區(qū)域采摘任務(wù)序列果實 與相鄰果實 之間的距離根據(jù)上文 S1區(qū)域涉及的 變量解釋即可理解 nD12 tD1n 2 tD1n 1 t D1 n2 t twait q ND11 TD11 同理可得2號采摘臂對其D1區(qū)域內(nèi)任務(wù)序列中果 實 遍歷時刻 當(dāng)1號和2號采摘臂進(jìn)去D1區(qū)域的 時間間隔 則認(rèn)為二者采摘任務(wù)沖突 其 中處于較晚時刻的采摘臂等待 后繼續(xù)遍歷當(dāng)前目標(biāo) 用 表示2組機(jī)械臂任務(wù)沖突次數(shù) 則1號采摘臂對其 D1區(qū)域內(nèi)任務(wù)序列中 個果實遍歷耗時 如式 3 所示 TD11 1v ND11 nD11 1 dnD11 nD11 1 qtwait 3 同理可得1號采摘臂在D3和F區(qū)域任務(wù)序列的采 Tmax 1 Tmax 摘時間 進(jìn)而可得1號采摘臂完成其全局采摘任務(wù)的時 間 按此推理 可確定4組采摘臂各自的全局任務(wù)耗時 其中最長耗時 為完成全部果實采摘的總體時間 以 為評價任務(wù)規(guī)劃優(yōu)劣的適應(yīng)度 通過選擇 交叉和 變異算子不斷迭代優(yōu)化隨機(jī)初始解 當(dāng)適應(yīng)度最大時對 應(yīng)最優(yōu)采摘任務(wù)規(guī)劃 3 采摘機(jī)器人試驗與結(jié)果 3 1 果園現(xiàn)場試驗 2022年10月25日至30日在北京昌平果樹研究所 進(jìn)行四臂采摘機(jī)器人應(yīng)用試驗 圖10 圖10 試驗現(xiàn)場 Fig 10 Field test 按照矮砧密植果樹樹形標(biāo)準(zhǔn) 選擇5年樹齡的10棵 蘋果樹作為試驗對象 每次試驗僅對其樹冠單側(cè)采收 根據(jù)多臂采摘區(qū)域劃分規(guī)則 采收前分別統(tǒng)計機(jī)器人視 第 13 期 馮青春等 蘋果四臂采摘機(jī)器人系統(tǒng)設(shè)計與試驗 29 場中樹冠單側(cè)不同采摘區(qū)域的果實數(shù)量 圖11 包括 可見果實 全部可見和局部可見 數(shù)量Nvis 受遮擋不可 見果實的數(shù)量Ninvis 采收過程中統(tǒng)計可見果實中被機(jī)器 人成功識別的果實數(shù)量Ndetected 被精確定位的果實數(shù)量 Nlocated 成功采收果實數(shù)量Nsuccess 不同采摘區(qū)域的作業(yè) 時間以及每棵果樹總體采收耗時 暫忽略機(jī)器人由人工 駕駛在不同果樹樣本間移動的耗時 采收后統(tǒng)計果樹 樹冠中不同區(qū)域內(nèi)的剩余果實數(shù)量 以評價機(jī)器人有效 采收率 此外 試驗過程中及時記錄失敗采摘操作的故 障原因 d 4號采摘臂視場 d View field of arm No 4 c 3號采摘臂視場 c View field of arm No 3 a 1號采摘臂視場 a View field of arm No 1 b 2號采摘臂視場 b View field of arm No 2 圖11 機(jī)器人視場圖像 Fig 11 Robot s view field 如表1所示 采摘試驗涉及10棵果樹樹冠內(nèi)452個 果實 其中機(jī)器人視場內(nèi)可見果實411個 不可見果實 為41個 表 1 機(jī)器人視場內(nèi)果實數(shù)量分布情況統(tǒng)計 Table 1 Statistics of fruit quantity distribution within the robot s view field 果實類型 Fruit type 區(qū)域 樹 1樹 2樹 3樹 4樹 5樹 6樹 7樹 8樹 9樹 10 合計 不可見 Invisible Ninvis 全部 3 5 3 4 5 5 4 3 5 4 41 可見 Visual Nvis 全部 34 41 36 38 40 48 45 40 50 39 411 S1 3 2 2 3 2 2 1 0 3 1 19 S2 0 1 1 0 1 1 1 2 1 2 10 S3 4 5 3 4 3 3 2 3 2 1 30 S4 3 2 3 2 2 3 3 3 2 3 26 D1 2 3 2 4 3 4 3 2 4 3 30 D2 5 4 5 4 3 6 4 3 5 3 42 D3 3 4 5 4 5 4 3 4 6 4 42 D4 4 3 2 3 1 2 4 3 5 3 30 F 10 17 13 14 20 23 24 20 22 19 182 3 2 結(jié)果與分析 當(dāng)前矮砧密植果園尚處于新興生產(chǎn)技術(shù) 各地果樹栽 培管理缺乏統(tǒng)一標(biāo)準(zhǔn) 盡管本文有限果樹樣本代表性略顯 不足 但是為了緊密結(jié)合鮮果智能采收的產(chǎn)業(yè)要求 本文 分別針對果實視覺信息感知 作業(yè)效率以及有效采收 3 個關(guān)鍵性能 對試驗結(jié)果進(jìn)行匯總和分析 如表2所示 表 2 主要試驗結(jié)果統(tǒng)計 Table 2 Statistics of main test results 指標(biāo) Index S1 S2 S3 S4 D1 D2 D3 D4 F 總體 準(zhǔn)確識別 率 Detection rate 100 00 100 00 93 33 96 15 100 00 100 00 97 62 100 00 86 26 92 94 精準(zhǔn)定位 率 Location rate 94 74 100 00 90 00 96 15 100 00 100 00 90 48 96 67 83 52 90 27 采摘成功 率 Successful harvesting rate 94 74 100 00 86 67 88 46 93 33 90 48 78 57 90 00 73 63 82 00 有效采收 率 Harvested fruit rate 94 74 83 33 72 22 79 31 87 50 73 08 70 21 84 38 69 43 74 56 采摘失誤數(shù) 量 Harvesting failures 1 0 4 3 2 4 9 3 48 74 識別失誤 率 Failed detection rate 0 00 0 00 50 00 33 33 0 00 0 00 11 11 0 00 52 08 39 19 定位失誤 率 Failed location rate 100 00 0 00 25 00 0 00 0 00 0 00 33 33 33 33 10 42 14 86 操作失誤 率 Failed operation rate 0 00 0 00 25 00 66 67 100 00 100 00 55 56 66 67 37 50 45 95 總體耗 時 Total time cost s 195 99 265 228 224 312 370 263 764 2 720 單果平均耗 時 Average time cost per fruit s 果 1 10 24 9 90 9 46 9 12 7 47 7 43 9 02 8 77 4 87 7 12 1 果實視覺信息感知 411個可見果實中382個果實被準(zhǔn)確識別 總體識 別率為92 94 其中S1 S2 D1和D2區(qū)域內(nèi)枝葉稀 疏區(qū)域識別率最高為100 果實分布密度較高的F區(qū) 域識別率最低為86 26 表2 主要原因為紡錘形樹 冠內(nèi)外圍枝葉果均較為稀疏 以無遮擋果實為主 中心 區(qū)域枝葉密度較高 果實收到遮擋較多 可見區(qū)域較小 容易造成漏檢 圖12a 此外 樹冠底層外圍區(qū)域S3 和S4內(nèi)識別率較低為93 33 和96 15 主要因為該區(qū) 域攝像機(jī)視場中前景樹冠與背景天空亮度差異較大 自 動曝光容易造成前景物曝光不足 使得圖像中果實與枝 葉色彩難以區(qū)分 果實定位精度同樣隨其受遮擋區(qū)域大小影響 根據(jù) 可見區(qū)域獲得果實包圍框是本文基于視錐體結(jié)構(gòu)對果實 質(zhì)心定位的前提 然而當(dāng)果實主要區(qū)域受到遮擋或者可 見區(qū)域不足以表現(xiàn)果實整體形態(tài)時 圖12b 獲得的 果實邊框僅包圍果實局部區(qū)域 使得果實大小及質(zhì)心測 算誤差較大 本文所采用的采摘手爪張開指端間最大距 離為12 cm 試驗果實平均直徑為8 cm 382個被識別 的果實中371個定位精度滿足采摘手爪操作要求 11個 果實由于視覺定位偏差較大導(dǎo)致采摘失敗 果實總體精 準(zhǔn)定位率為90 27 且區(qū)域S2最高為100 00 區(qū)域 F最低為83 52 表2 可以通過增加采摘手爪指端 張合范圍包容球果的定位誤差 但是將增加手爪碰撞干 涉風(fēng)險 30 農(nóng)業(yè)工程學(xué)報 http www tcsae org 2023 年 外圍區(qū)域 Peripheral erea 外圍區(qū)域Peripheral erea中心區(qū)域 Internal erea 果實輕微遮擋 Fruits rarely occluded 果實嚴(yán)重遮擋 Fruits mostly occluded a 樹冠中心與外圍區(qū)域 a Canopy peripheral and internal area b 果實遮擋 b Fruits occluded 圖12 果實識別定位效果示例 Fig 12 Examples of fruit recognition and positioning results 2 果實有效采收率 機(jī)器人可見的果實中成功采摘的果實數(shù)量為337 74個可見果實未被成功采摘 采摘成功率為82 00 其 中S2區(qū)域最高為100 00 F區(qū)域最低為73 63 對于 試驗果樹內(nèi)的所有果實 包括可見和不可見果實 機(jī)器 人總體有效采收率為74 56 其中S1區(qū)域最高為 94 74 F區(qū)域最低為69 43 如表2所示 74個采摘 失誤果實包括 未被識別的果 29個 未精確定位的果 實11個以及采摘操作失誤的果實34個 即由于識別失 誤 定位失誤及操作失誤的比例分別為39 19 14 86 及45 95 相對于果實視覺信息感知方面 執(zhí)行部件的 操作失誤是影響機(jī)器人有效采收率的主要原因 在果實密集的F區(qū)域采摘失誤數(shù)量最多為48次 其 中操作失誤18次 采摘操作失誤主要表現(xiàn)為兩種情況 圖13 采摘手爪將果實與其附近的葉片 枝干同時 夾入而造成旋擰電機(jī)過載 圖13a 導(dǎo)致采摘失敗 采摘手爪與枝干或果實碰撞使得果實偏離初始位置而 造成采摘失敗 其中包括手爪與運(yùn)動路徑中的枝干發(fā)生 碰撞 圖13b 以及手爪指端與目標(biāo)果實臨近枝干或 其他果實發(fā)生碰撞 a 臨近果實的枝條干涉 a Interference with branches near target fruit b 運(yùn)動路徑中枝條干涉 b Collision with branches on motion track 圖13 末端執(zhí)行器操作失誤示例 Fig 13 Examples of end effector s failed operation 綜上所述 復(fù)雜樹冠內(nèi)遮擋 干涉和碰撞是造成采 摘失敗的主要原因 因此 機(jī)器人除了需要感知果實目標(biāo) 以外 其對枝葉遮擋和干涉的探測和理解是需要進(jìn)一步 突破的技術(shù)難題 此外 通過優(yōu)化樹冠枝干空間形態(tài) 精 準(zhǔn)管控坐果密度 也是保證機(jī)器人采收效果的必要措施 3 采收作業(yè)效率 為了準(zhǔn)確評估機(jī)器人多臂協(xié)作的效率 本文暫且忽 略試驗過程中的失誤采摘耗時 以機(jī)器人對所有識別到 果實的遍歷操作效率表征其采收作業(yè)效率 機(jī)器人對成 功識別的382個果實都執(zhí)行了完整的采摘操作 總體耗時 2 720 s 單果采摘平均耗時7 12 s 各區(qū)域采摘總體耗時 以及單果采摘效率統(tǒng)計如表2所示 平均采摘效率在單 臂 采摘 S區(qū) 域 為 9 59 s 果 雙 臂 采 摘 D區(qū) 域 為 8 17 s 果 四臂采摘F區(qū)域為4 87 s 果 且果實稀疏的 外圍區(qū)域S1和S2 D3和D4區(qū)域的采摘效率均小于中 心區(qū)域的S3和S4 D1和D2 雙臂和四臂協(xié)同采摘效 率分別是單臂的1 17和1 96倍 可見同作業(yè)效率還有較 大提升空間 限制機(jī)器人采收效率的主要因素包括 在多臂共 享的采摘區(qū)域果實密度增加 設(shè)定的交替采摘等待時間 隨之增加 從而制約了多個采摘臂實際的作業(yè)效率 本文對樹冠劃分恒定的單臂和多臂采摘區(qū)域 但是果樹 個體之間樹形各不相同 當(dāng)果實在外圍區(qū)域分布較多時 采摘臂需要花費(fèi)較多時間完成單臂或者雙臂采摘任務(wù) 從而影響四臂協(xié)同采摘的綜合效率 因此 進(jìn)一步完善采 摘臂交替采摘避障實時監(jiān)測 優(yōu)化多臂協(xié)同策略以及規(guī) 范管控樹形結(jié)構(gòu) 實現(xiàn)采摘區(qū)域的動態(tài)劃分 減少交替 等待耗時 將有利于進(jìn)一步提升多臂作業(yè)的綜合效率 4 結(jié) 論 針對中國典型標(biāo)準(zhǔn)果園高效采摘需求 設(shè)計了四臂 并行作業(yè)的采摘機(jī)器人系統(tǒng) 實現(xiàn)了矮砧密植蘋果的自 主采收作業(yè) 提出了基于受遮擋果實可見區(qū)域信息的目 標(biāo)識別與定位方法 實現(xiàn)了復(fù)雜背景下采摘目標(biāo)質(zhì)心的 空間定位 建立了針對樹冠內(nèi)不同果實密度區(qū)域的四臂 協(xié)同采摘任務(wù)規(guī)劃模型 保障多個執(zhí)行器高效有序地并 行采摘 果園現(xiàn)場試驗表明 機(jī)器人對于可見果實的識 別率為92 94 其中定位精度滿足機(jī)器人要求的占 90 27 機(jī)器人綜合采收效率為7 12 s 果 不包含移動 運(yùn)輸時間 其中單臂 雙臂以及四臂協(xié)同區(qū)域采摘效 率分別為9 59 8 17和4 87 s 果 機(jī)器人對于全部試驗 樣本的有效采收率為74 56 其中可見果實的成功采收 率為82 00 果實受枝葉遮擋 影響視覺識別定位精度 以及造成采摘執(zhí)行部件干涉碰撞 是造成采摘失敗的主 要原因 因此 提升機(jī)器人自主避障能力和改善樹形結(jié) 構(gòu) 是進(jìn)一步改善機(jī)器人作業(yè)性能的必要研究工作 第 13 期 馮青春等 蘋果四臂采摘機(jī)器人系統(tǒng)設(shè)計與試驗 31 參 考 文 獻(xiàn) 國家統(tǒng)計局農(nóng)村社會經(jīng)濟(jì)調(diào)查司 中國農(nóng)村統(tǒng)計年鑒 M 北京 中國統(tǒng)計出版社 2021 1 鄭永軍 江世界 陳炳太 等 丘陵山區(qū)果園機(jī)械化技術(shù) 與裝備研究進(jìn)展 J 農(nóng)業(yè)機(jī)械學(xué)報 2020 51 11 1 20 ZHENG Yongjun JIANG Shijie CHEN Bingtai et al Review on technology an