基于Mask R-CNN的智能蘋果采摘機器人.pdf

中國科技信息2023年第13期 CHINA SCIENCE AND TECHNOLOGY INFORMATION Jul 2023 146 四星推薦 近年來 隨著人工智能和機器人技術(shù)的不斷發(fā)展 各行 各業(yè)都在積極探索如何利用這些技術(shù)提高工作效率和減少勞 動力成本 其中 農(nóng)業(yè)領(lǐng)域也不例外 越來越多的農(nóng)民開始使 用機器人來完成種植 收割等任務 在所有農(nóng)作物中 蘋果是 一個重要的種植品種 并且由于該種水果的特殊性質(zhì) 采摘過 程中機器人的目標識別 果實定位與分離 果實保護是蘋果采 摘機器人的關(guān)鍵技術(shù) 決定了蘋果采摘的質(zhì)量和效率 隨著我 國對世界的蘋果貢獻率不斷提高下 傳統(tǒng)的人工采摘和現(xiàn)有的 機器人采摘方法無法滿足需求 為此 設(shè)計了一種基于Mask R CNN的優(yōu)化智能蘋果采摘機器人 以實現(xiàn)蘋果采摘的自 動化 降低生產(chǎn)成本的同時提高蘋果采摘效率 機器人的系統(tǒng)組成 智能蘋果采摘機器人以實現(xiàn)目標果實的智能識別 精確 定位 快速采摘 精準輸送等多項聯(lián)合作業(yè)為設(shè)計目標 設(shè)計 出一款實現(xiàn)高效采摘且適用于大部分地域果園的基于智能識 別及精確采摘的機械臂式智能蘋果采摘機器人 因此 必須解 決的問題包括機器人的 自動避障系統(tǒng) 采摘控制系統(tǒng)等 目標識別與定位系統(tǒng) 通過搭載優(yōu)化后的掩碼卷積神經(jīng)網(wǎng)絡 Mask R CNN 算法的STM32 單片機主控制器 搭配DSP高速算法計算 芯片 基于建立的優(yōu)化掩碼卷積神經(jīng)網(wǎng)絡成熟目標果實識別 模型 可以初步提取蘋果的邊緣 角點等低級特征 再通過 對高級特征如紅色 圓形 紋理等的提取 可形成不同大小 和維度的特征圖 其圖像信息作為區(qū)域建議網(wǎng)絡的輸入 并 將其輸入到區(qū)域建議網(wǎng)絡中進行端訓練 生成感興趣區(qū)域 最后通過全卷積網(wǎng)絡生成掩模 得到蘋果所在的區(qū)域 如圖 1 2所示 并通過目的果實的輸出框 利用輸出結(jié)果中的 包圍框坐標求出二維中心點坐標 顯示在 Mask R CNN的 輸出結(jié)果中 該算法采用了區(qū)域提議網(wǎng)絡 RPN 來生成感 興趣區(qū)域 并使用少量帶有掩膜注釋信息的樣本進行訓練 來對每個感興趣區(qū)域進行實例分割 不僅可以檢測出物體的 位置信息 還可以精確地得到物體的邊界信息 從而更加全 面地描述目標物從而可以對部分遮擋或者重疊的目標物進行 準確識別 使得目標識別系統(tǒng)具有好的準確性 高效性和魯 棒性 同時 構(gòu)建的深度網(wǎng)絡結(jié)構(gòu)通過不斷的自身特征提取 和對特征自學習不斷被優(yōu)化 大幅提高枝葉遮擋和重疊目標 果實識別精度 將目標框從二維坐標轉(zhuǎn)化為三維坐標 需要 借助Kinect V2攝像頭的深度信息進行計算 具體過程如下 在獲取到蘋果目標框后 根據(jù)輸出結(jié)果中的包圍框坐標求出 行業(yè)曲線 開放度 創(chuàng)新度生態(tài)度 互交度 持續(xù)度 可替代度 影響力 可實現(xiàn)度 行業(yè)關(guān)聯(lián)度 真實度 基于Mask R CNN的智能蘋果采摘機器人 顏清華 杜玉珠 李亞芹 劉兆光 翟子順 李冰陽 曹明浩 顏清華 杜玉珠 李亞芹 劉兆光 翟子順 李冰陽 曹 明浩 佳木斯大學 機械工程學院 顏清華 2003 本科在讀 從事智能農(nóng)業(yè)裝備方面研究 通信作者 蒲巖巖 1992 碩士 講師 從事智能農(nóng) 業(yè)裝備方面研究 基金項目 黑龍江省教育廳基本科研業(yè)務費 2020 KYYWF 0264 國家級大學生創(chuàng)新創(chuàng) 業(yè)訓練計劃項目 202210222126 針對于當前我國機械臂采摘式蘋果采摘機器人市場中存在的 由于目標果實被枝葉遮擋或重疊 機器人避障識別度不高 果園地 形外貌差異巨大 果實與果樹分離引起的果樹振動 果實損壞率高 等問題所導致的采摘效率低下的現(xiàn)狀 設(shè)計了一套實現(xiàn)果農(nóng)高效采 摘且適用于大部分地域果園的基于智能識別及精確采摘的機械臂式 智能蘋果采摘機器人 該設(shè)計立足于多傳感自動避障系統(tǒng) 優(yōu)化的 RCNN識別系統(tǒng) 仿形快速采摘系統(tǒng)等 對果園作業(yè)區(qū)域內(nèi)蘋果樹 的成熟果實實時監(jiān)測 再根據(jù)相關(guān)數(shù)據(jù)結(jié)合實現(xiàn)自主避障 智能識 別 精確采摘 果實保護等功能 通過仿真實驗得出 該設(shè)備相較 于人工采摘的作業(yè)效率和傳統(tǒng)機械臂采摘機器人的果實保護率都有 一定提高 在一定程度上推進了智慧農(nóng)業(yè)與高效農(nóng)業(yè)的發(fā)展 147 CHINA SCIENCE AND TECHNOLOGY INFORMATION Jul 2023 中國科技信息2023年第13期 四星推薦 蘋果在二維圖像上的中心點坐標 利用Kinect V2深度映射 圖獲取該坐標點的深度值 即第三個坐標值 對于Kinect V2攝像頭來說 它提供了一個已知的相機內(nèi)參和畸變參 數(shù) 可以通過相機模型將二維坐標映射到三維空間中 并得 到蘋果在三維空間中的坐標 在實現(xiàn)該過程時 需要使用到 Kinect V2攝像頭的外界接口 通過電信號將蘋果的二維坐 標和深度信息傳遞給STM32單片機主控制器和DSP高速 計算芯片進行處理 整個過程需要對硬件和軟件進行充分的 配合和優(yōu)化 才能保證準確性和效率 自動避障系統(tǒng) 以STM32 單片機為基礎(chǔ) 采用紅外線傳感器 超聲波 傳感器 舵機與陀螺儀相結(jié)合實現(xiàn)多種傳感器有效的協(xié)同工 作 并在對其傳入的數(shù)據(jù)進行合理的分析與計算 實現(xiàn)了蘋 果采摘機器人在面對復雜果園時的有效避障 圖3是該系統(tǒng) 的工作流程圖 機器人正常前進時 由多種傳感器融合協(xié)作 感應前方是否存在障礙物 若存在障礙物 通過舵機調(diào)整角 度進行轉(zhuǎn)彎或后退 進而實現(xiàn)自動避障過程 該設(shè)計解決了 紅外傳感器易受光線干擾和單個超聲波測距角度有限不足的 缺點 避免了對蘋果采摘機器人工作過程中由于天氣原因 機器行走時制造的灰塵以及溫度等外在因素所導致的機器人 無法正常避障問題 提供了一種有效的解決方案 采摘控制系統(tǒng) 執(zhí)行控制結(jié)構(gòu) 當識別控制系統(tǒng)識別出目標果實時 機器人運動停止 并立即向采摘控制系統(tǒng)發(fā)送動作信號 并通過建立D H矩陣 來建立機械手坐標系 利用齊次變換矩陣分析正 逆運動進而 計算出機械臂的最優(yōu)路徑 接著機械臂末端逐漸接近果實 以 直流電機帶動絲杠和雙面齒條的螺旋轉(zhuǎn)動和雙面齒條上下移 動 進而引起兩個嚙合齒輪對轉(zhuǎn) 以達到控制夾持結(jié)構(gòu)開合的 目的 采摘手搭配鋼絲 軟軸和切割刀片 讓后者借助軟軸的 帶動繞手指外廓旋轉(zhuǎn)近似一周 成功完成了對手指外周上任意 位置蘋果柄的切割 楔形設(shè)計的刀片提高了切割果柄的準確性 和采摘效率 并明顯提高了切斷果柄的易度 從而提高了采摘 成功率 這種方法不僅使得檢測果柄過程簡化 采摘效率也得 到了有效提升 相較于傳統(tǒng)的機械手 該設(shè)計避免了由于采摘 時機械果實與果樹分離引起的果樹振動 而導致攝像機捕捉果 實圖像出現(xiàn)誤差 從而降低工作效率的現(xiàn)象 末端夾持結(jié)構(gòu) 末端夾持結(jié)構(gòu)的設(shè)計直接影響蘋果的果實的損傷率和采 摘效率 所以考慮到采用兩個弧形碗狀結(jié)構(gòu)為采摘器夾持結(jié)構(gòu) 如圖4所示 內(nèi)層接觸果實的部分采用比較柔軟的橡膠 或者綢緞材料 這樣在采摘果實時 即便夾持力稍大也不會立 馬使蘋果表皮破損 增大了采摘結(jié)構(gòu)的容錯性 并通過傳感器 檢測末端碗狀結(jié)構(gòu)與蘋果的接觸力并轉(zhuǎn)換為電信號 當接觸力 達到設(shè)定值后 電機驅(qū)動弧形碗狀結(jié)構(gòu)收縮 將果實固定在內(nèi) 部 并傳送至車廂內(nèi) 為了提高末端采摘結(jié)構(gòu)的魯棒性 我們 采用遺傳算法 Genetic Algorithm 來優(yōu)化夾持力參數(shù) 該 算法可以有效地搜索最優(yōu)解 且計算量相對較小 不會增加主 控制器的負擔 通過適應度函數(shù)對解進行評估 選擇 交叉和 變異等操作 以生成新的解并逐步優(yōu)化解的質(zhì)量 最終 得到 的最優(yōu)解即為最佳夾持力參數(shù)和接觸力閾值 根據(jù)不同種類蘋 果應該設(shè)計不同的蘋果夾持力相關(guān)參數(shù)以及接觸力閾值 以適 圖5 機器人夾持蘋果工作圖 圖4 機器人的整體模型圖 圖3 避障系統(tǒng)的工作流程圖 圖2 改進后的Mask R CNN網(wǎng)絡模型蘋果分割定位圖 圖1 改進后的Mask R CNN網(wǎng)絡模型整體結(jié)構(gòu)圖 中國科技信息2023年第13期 CHINA SCIENCE AND TECHNOLOGY INFORMATION Jul 2023 148 四星推薦 應復雜果園環(huán)境下果實的保護 提高蘋果采摘的經(jīng)濟效益 圖 4 5分別為機器人的整體模型圖和實物圖 工作流程 蘋果采摘機器人啟動后 通過多傳感器的數(shù)據(jù)輸入 目 標果實識別定位系統(tǒng)通過對前方目標進行圖像處理 如若遇 到障礙物或未成熟果實 避障系統(tǒng)進行自動避障處理 如果 目標為成熟果實 則由Kinect V2計算空間點坐標來完成成 熟果實識別與定位識別目標果實后 控制模塊接收到采摘信 號并發(fā)送指令給智能采摘系統(tǒng) 機械手建立坐標系并分析其 逆運動學 從而計算出機械手的最優(yōu)路徑的運動解 機械手 移動至目標水果位置 末端刀片進行采摘使其落入弧形夾持 結(jié)構(gòu) 并通過末端的壓力傳感器配合遺傳算法優(yōu)化夾持力參 數(shù) 并得出最優(yōu)夾持力參數(shù) 以保護果實免受損壞 機械爪 完成采摘后將果實運送到車廂內(nèi) 機械臂復位 為下一次采 摘做準備 圖6為機器人的工作流程圖 實驗模擬 為了檢驗機器人的工作效率 以模擬紅色氣球為成熟果 實 并將氣球掛在模擬樹上 在實驗室內(nèi)開展了一場模擬實 驗 圖7為模擬蘋果采摘實驗 首先 在測試區(qū)域中尋找 四顆類似于蘋果樹的模擬樹 并將100個紅色氣球 代表成 熟果實 20個綠色氣球和10個白色氣球 隨機分配在四 顆樹上 接著啟動蘋果采摘機器人并開始30min采摘時間 倒計時 讓它在測試區(qū)域內(nèi)進行采摘操作 在機器人完成采 摘后 收集所有被漏摘的氣球 代表漏摘的果實 和被采摘 的各色氣球 紅色代表成熟果實 綠色和白色代表未成熟果 實 以及被夾爆的氣球 代表損壞的果實 記錄好各顏色 氣球的數(shù)量 并分別計算出果實漏摘率 果實誤摘率 果實 損傷率以及工作效率可靠度 接著將模擬樹以及各氣球放置 的位置打亂 重復三遍上述實驗 并將實驗結(jié)果數(shù)據(jù)入下來 經(jīng)過三次模擬實驗最終得出 該機器人的漏摘率為7 00 誤摘率為5 64 果實損傷率為1 65 進而得出該蘋果 采摘機器人的工作可靠度為R t 1 7 00 1 5 64 1 1 65 86 54 相較于人工采摘該蘋 果采摘機器人的工作效率大大提高 圖8為蘋果 氣球 分 割定位圖 表1為三次實驗數(shù)據(jù)匯總表 表1 三次實驗數(shù)據(jù)匯總表 實驗一 實驗二 實驗二 平均值 紅色氣球 成熟果實 92 93 94 93 白色氣球 未成熟果實 2 2 1 1 66 綠色氣球 未成熟果實 3 4 5 4 破損氣球 破損果實 1 2 2 1 66 果實漏摘率 8 00 7 00 6 00 7 00 果實誤摘率 5 10 5 94 5 88 5 64 果實損傷率 1 02 1 98 1 96 1 65 工作效率可靠度 87 13 85 74 86 74 86 54 結(jié)語 本文以搭載優(yōu)化后的掩碼卷積神經(jīng)網(wǎng)絡 Mask R CNN 算法的STM32 單片機為主控制器 設(shè)計了一臺 可以實現(xiàn)自主避障 智能識別 精確采摘 果實保護等功能 的蘋果采摘機器人 并得出以下結(jié)論 機器人的關(guān)鍵技術(shù)包括由基于Mask R CNN神經(jīng)網(wǎng)絡 模型為果實目標的識別算法和通過搭配遺傳算法優(yōu)化夾持力 的弧形夾持結(jié)構(gòu) 有效的解決了采摘過程中枝葉遮擋和果實 重疊給識別系統(tǒng)帶來的難題 并降低了蘋果的損失率 使得 機器人的具有較好的準確性 適應性 高效性以及魯棒性 通過假定紅色氣球為成熟果實 綠 黃色氣球為未成熟 果實 模擬一場蘋果機器人的采摘實驗 實驗結(jié)果得出該機 器人的漏摘率為7 00 誤摘率為5 64 果實損傷率為 1 65 工作效率為86 54 滿足現(xiàn)階段蘋果采摘機器人 的基本工作要求 相較于人工采摘該蘋果采摘機器人的工作 效率大大提高 盡管采用了Mask R CNN算法進行目標檢測和實例分 割 但仍無法避免由于光線 陰影 角度等因素導致識別精 度下降的問題 特別是對于非規(guī)則形狀的水果或者有局部變 形的水果 精度會受到更大的影響 圖8 蘋果 氣球 分割定位圖 圖7 模擬蘋果采摘實驗 圖6 機器人的工作流程圖