溫室番茄采摘機(jī)器人系統(tǒng)設(shè)計(jì).pdf

25 農(nóng)業(yè)裝備農(nóng)業(yè)開(kāi)發(fā)與裝備 2023年第10期 溫室番茄采摘機(jī)器人系統(tǒng)設(shè)計(jì) 姬麗雯 1 2 張 豪 1 吳 丹 1 2 高 帥 1 2 1 江蘇農(nóng)林職業(yè)技術(shù)學(xué)院機(jī)電工程學(xué)院 江蘇句容 212400 2 江蘇省現(xiàn)代農(nóng)業(yè)裝備工程中心 江蘇句容 212400 摘要 設(shè)計(jì)了一種應(yīng)用于溫室番茄采摘的機(jī)器人 該 機(jī)器人可以在溫室中自動(dòng)規(guī)劃路徑 并識(shí)別和采摘成 熟番茄 設(shè)計(jì)以分布式計(jì)算系為主控制網(wǎng)絡(luò) 以激光 雷達(dá)進(jìn)行移動(dòng)機(jī)器人的地圖構(gòu)建與定位 視覺(jué)系統(tǒng)智 能識(shí)別番茄進(jìn)行3 D定位 通過(guò)視覺(jué)系統(tǒng)軟件開(kāi)發(fā)結(jié)合 雙目相機(jī)硬件結(jié)構(gòu)實(shí)現(xiàn)果實(shí)的精準(zhǔn)識(shí)別和定位 關(guān)鍵詞 番茄采摘機(jī)器人 路徑規(guī)劃 視覺(jué)系統(tǒng) 0 引言 在果蔬作業(yè)生產(chǎn)鏈中 采摘作業(yè)是整個(gè)生產(chǎn)鏈中 最耗時(shí) 費(fèi)力的環(huán)節(jié) 且采摘作業(yè)存在季節(jié)性強(qiáng) 勞 動(dòng)強(qiáng)度大 投入費(fèi)用高的特點(diǎn) 因此農(nóng)業(yè)采摘機(jī)器人 研究發(fā)展有極強(qiáng)的現(xiàn)實(shí)意義 1 2 國(guó)內(nèi)農(nóng)業(yè)機(jī)器人發(fā) 展相對(duì)于國(guó)外比較晚 但經(jīng)歷多年的不斷的研究和 發(fā)展 也取得了一定的成就 江蘇大學(xué)研制了番茄采 摘機(jī)器人 將 RGB顏色空間轉(zhuǎn)換成 HIS顏色空間 王 沈輝等人基于神經(jīng)網(wǎng)絡(luò) 創(chuàng)建了雙目立體視覺(jué)實(shí)驗(yàn)的 平臺(tái) 魏博等設(shè)計(jì)了一種欠驅(qū)動(dòng)式柑橘采摘末端執(zhí)行 器 通過(guò)三個(gè)雙連桿并聯(lián)式手指充分抓握和偏轉(zhuǎn)融合 控制 實(shí)現(xiàn)柑橘的穩(wěn)定采摘 使用的末端執(zhí)行器具有 適應(yīng)性強(qiáng) 抓取穩(wěn)定等優(yōu)點(diǎn) 但只在手指內(nèi)部貼有軟 硅橡膠的設(shè)計(jì)無(wú)法避免果實(shí)采摘時(shí)的破損 將影響果 實(shí)的品質(zhì) 3 于豐華等將機(jī)器人的機(jī)械臂擴(kuò)展到6自由 度 機(jī)械臂搭載了附有薄膜壓力傳感器的柔性手爪 基于R FCN卷積神經(jīng)網(wǎng)絡(luò)視覺(jué)識(shí)別技術(shù) 設(shè)計(jì)了以番 茄為采摘對(duì)象的移動(dòng)機(jī)器人 但是機(jī)器人必須通過(guò)巡 線相機(jī)識(shí)別溫室內(nèi)定位膠帶來(lái)完成巡檢和采摘 移動(dòng) 的靈活性受到限制 4 雖然采摘機(jī)器人的研究較多 但 研究深度還有待進(jìn)一步提高 本文設(shè)計(jì)了一款溫室番茄采摘機(jī)器人 采用同時(shí) 定位和地圖構(gòu)建實(shí)現(xiàn)機(jī)器人的路徑規(guī)劃 雙目深度相 機(jī)實(shí)現(xiàn)對(duì)成熟番茄的識(shí)別和定位 搭載柔性仿生夾爪 的 6自由度機(jī)械 臂實(shí)現(xiàn)目標(biāo)番茄的抓取和放置 1 采摘機(jī)器人系統(tǒng)功能設(shè)計(jì) 番茄的培育模式主要有地面土培和基質(zhì)高架培 育 其中高架基質(zhì)栽培可改善勞動(dòng)姿勢(shì) 減輕勞動(dòng)強(qiáng) 度 實(shí)現(xiàn)省省力化栽培而且能夠克服連作障礙 實(shí)現(xiàn)清 潔化生產(chǎn) 5 本文的農(nóng)業(yè)采摘機(jī)器人是以溫室高架番茄 為采摘對(duì)象進(jìn)行研究 溫室番茄栽培模式如圖1所示 圖 1 溫室番茄栽培模式 采摘機(jī)器人的硬件結(jié)構(gòu)圖如圖2所示 包括激光雷 達(dá) 3 D相機(jī) 六自由度機(jī)械臂 仿 生手爪等 采摘機(jī) 器人的底盤(pán)用于承載整個(gè)車(chē)身 6個(gè)輪式電機(jī)動(dòng)力驅(qū) 動(dòng) 6個(gè)舵機(jī)轉(zhuǎn)向驅(qū)動(dòng) 可前后左右行駛 可實(shí)現(xiàn)0度 到360度原地轉(zhuǎn)彎 RS232通信控制 此小車(chē)地盤(pán)是全 地形越野地盤(pán) 6輪6驅(qū)獨(dú)立懸掛獨(dú)立轉(zhuǎn)向 整車(chē) 最大負(fù)載為200 kg 轉(zhuǎn)彎半徑為0至無(wú)窮大 可原地旋 轉(zhuǎn) 爬坡能力為最大35度 工作電壓為24 55 V 控制 模式為閉環(huán)控制 圖 2 采摘機(jī)器人硬件系統(tǒng)結(jié)構(gòu) 軟件開(kāi)發(fā)使用 1 計(jì)算機(jī) 相機(jī) 將機(jī)器人控制 器 3D相機(jī)等關(guān)聯(lián)起來(lái)開(kāi)發(fā)圖像識(shí)別和采摘系統(tǒng) 2 基金項(xiàng)目 江蘇省大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃項(xiàng)目 202013103 077y 作者簡(jiǎn)介 姬麗雯 1989 女 山東曲阜人 碩士 研究方 向?yàn)橹悄苻r(nóng)業(yè)裝備與技術(shù) 26 農(nóng)業(yè)裝備 農(nóng)業(yè)開(kāi)發(fā)與裝備 2023年第10期 計(jì)算機(jī) 底盤(pán) 將激光雷達(dá)和小車(chē)底盤(pán)關(guān)聯(lián)起來(lái)開(kāi)發(fā) 小車(chē)導(dǎo)航系統(tǒng)拓展功能 3 計(jì)算機(jī) 客戶(hù)端 遠(yuǎn)程操 控使用 各計(jì)算機(jī)的連接拓?fù)淙鐖D 3所示 圖3 各計(jì)算機(jī)連接拓?fù)?機(jī)器人采摘流程如圖 4所示 機(jī)器人通過(guò)激光雷達(dá) 構(gòu)建環(huán)境地圖用做車(chē)輛導(dǎo)航 地圖構(gòu)建完成以后可以 進(jìn)入采摘環(huán)節(jié) 機(jī)器人開(kāi)始移動(dòng) 并使用雙目攝像頭 進(jìn)行拍照識(shí)別 如果檢測(cè)到成熟番茄 則停止識(shí)別并 對(duì)目標(biāo)番茄進(jìn)行定位 引導(dǎo)機(jī)器人進(jìn)行采摘?jiǎng)幼鞑⑨?放到果籃處 再回到采摘初始位置 若采摘目標(biāo)位置 超過(guò)設(shè)置界限 不執(zhí)行采摘?jiǎng)幼?圖 4 機(jī)器人采摘流程圖 2 采摘機(jī)器人導(dǎo)航系統(tǒng) 本機(jī)器人采用了思嵐 RPLIDAR A3紅外激光雷達(dá) 通過(guò)串口與 Raspberry Pi 4B相連 激光雷達(dá)的主要技術(shù) 參數(shù)如表1所示 表1 RPLIDAR A3激光雷達(dá)主要技術(shù)參數(shù) 項(xiàng)目 典型值 測(cè)量距離 25m 掃描范圍 360 采樣頻率 16000次 s 掃描頻率 15Hz 角度分辨率 0 225 測(cè)距相對(duì)誤差 1 現(xiàn)在需要構(gòu)建地圖和路徑規(guī)劃 因?yàn)榈竭_(dá)一個(gè)新 的環(huán)境是必須進(jìn)行的一個(gè)操作 6 9 此過(guò)程需要激光雷 達(dá)和遠(yuǎn)程工控機(jī) 通過(guò)無(wú)線網(wǎng)絡(luò)使用遠(yuǎn)程工控機(jī) 控 制底盤(pán)控制系統(tǒng) 10 12 緊接著發(fā)出構(gòu)建地圖和規(guī)劃路 徑指令 驅(qū)動(dòng)激光雷達(dá)開(kāi)始規(guī)建 同時(shí)使用遙控裝置 進(jìn)行提高路徑的正確性和在遠(yuǎn)程控制電腦上地圖完整 性 隨著地圖構(gòu)建完成將采摘車(chē)遙控至起點(diǎn)位置 然 后遠(yuǎn)程發(fā)送指令 并保存地圖 然后對(duì)路徑進(jìn)行人工 規(guī)劃 設(shè)立原點(diǎn) 采摘點(diǎn) 返回位置 并上傳至底盤(pán) 控制系統(tǒng) 3 采摘機(jī)器人視覺(jué)系統(tǒng) 采摘機(jī)器人使用3D相機(jī)拍攝番茄 可以獲取將被 采摘番茄的立體圖像信息 3D相機(jī)可以通過(guò)智能識(shí)別 算法識(shí)別出成熟番茄 然后通過(guò)計(jì)算機(jī)立體圖像識(shí)別 和3D的位置信息分析 最后實(shí)現(xiàn)番茄的立體定位 本 文中采用的3D相機(jī)是小覓智能的雙目深度相機(jī) 這款 3D相機(jī)相關(guān)參數(shù)為 線路板尺寸大小為90 26 mm 總 尺寸為124 33 3 32 5 mm 分辨率分別為2 560 720 1 280 480 深度分辨率為1 280 720 640 480 像素 尺寸3 75 3 75 um IR可探測(cè)距離為3 m 3 1 視覺(jué)識(shí)別 使用基于新算子的OTSU分割方法 將背景與目標(biāo) 進(jìn)行區(qū)分 最大類(lèi)間方差算法 OTSU 是由日本學(xué)者 大津展之提出的 這種算法整個(gè)過(guò)程如下 1 選擇其中一個(gè) 具有代表性的灰度值 記為k 他一般分為兩個(gè)準(zhǔn)類(lèi) 分別是C 1 K 1 m 和 C 0 1 K 則每一類(lèi)產(chǎn)生的概率分別為 1 2 C 0 C 1 平均灰度值 2 27 農(nóng)業(yè)裝備農(nóng)業(yè)開(kāi)發(fā)與裝備 2023年第10期 3 整體平均灰度值為 3 4 C 0 C 1 兩類(lèi)之間的方差 4 5 通過(guò)遍歷求得 k 的值 使得 5 6 k 即為所求 以該值為閾值來(lái)對(duì)圖像進(jìn)行分割 3 2 視覺(jué)標(biāo)定 由于相機(jī)視野中捕獲目標(biāo)物體的坐標(biāo)系與機(jī)器人 坐標(biāo)系不一致 它們各自的坐標(biāo)沒(méi)有聯(lián)系 所以為了 使兩者坐標(biāo)系形成關(guān)聯(lián) 以便引導(dǎo)機(jī)器人進(jìn)行采摘 故需要將相機(jī)的坐標(biāo)系變換到機(jī)器人坐標(biāo)系中 即進(jìn) 行標(biāo)定 13 15 要完成機(jī)器人與物體的坐標(biāo)變換標(biāo)定 需要一個(gè) 矩陣 4 x4 這個(gè)矩陣包含著一個(gè)旋轉(zhuǎn)矩陣 3X3 和一個(gè)平移矩陣 1X3 變換矩陣由旋轉(zhuǎn)矩陣和平移 矩陣組成 我們以機(jī)械臂末端坐標(biāo)系到機(jī)械臂基底坐 標(biāo)系變換矩陣為例進(jìn)行說(shuō)明 轉(zhuǎn)換矩陣表示如公式 6 end 1 nullnullnull nullnullnull nullnullnull null null null null 0 6 其中 nullnullnull null null 機(jī)械臂末端坐標(biāo)系到機(jī)械臂基底坐標(biāo) 系的旋轉(zhuǎn)矩陣 它為 3x3 矩陣 nullnullnull null null 機(jī)械臂末端坐標(biāo)系到機(jī)械臂基底坐標(biāo)系的平 移矩陣 它為 3x1 矩陣 具體的標(biāo)定步驟為 1 選取合適的四個(gè)標(biāo)定點(diǎn) 四個(gè)標(biāo)定點(diǎn)應(yīng)該差異 化 比如遠(yuǎn)近位置各不相同 同時(shí)又應(yīng)該在相機(jī)的拍 攝范圍和機(jī)械臂的可采摘范圍之內(nèi) 2 運(yùn)行采摘機(jī)器人軟件 確保機(jī)器人在采摘初始 位置 點(diǎn)擊識(shí)別采摘 相機(jī)在初始采摘位置拍照 識(shí) 別出果實(shí) 使用TeamViewer遠(yuǎn)程控制相機(jī)計(jì)算機(jī) 使 用相機(jī)計(jì)算機(jī)提供的ImageJ軟件在相機(jī)計(jì)算機(jī)標(biāo)定出 果實(shí)位置 如圖 5 a 所示 3 利用示教器遙控機(jī)械臂到當(dāng)前標(biāo)定點(diǎn)所在的果 實(shí)位置 記錄下示教器的位置X Y Z值 得到機(jī)器 人坐標(biāo)系 如圖 5 b 所示 4 將數(shù)據(jù)填入小覓相機(jī)內(nèi)參列表中 將標(biāo)定數(shù) 據(jù)填入農(nóng)業(yè)采摘機(jī)器人軟件平臺(tái)中 點(diǎn)擊生成變換矩 陣 保存變換矩陣 至此標(biāo)定完成 3 3 基于雙目視覺(jué)的目標(biāo)番茄定位 雙目視覺(jué)目標(biāo)定位示意圖如圖6所示 采用兩臺(tái)內(nèi) 參數(shù)完全一致的相機(jī) C L 和 C R 從左右兩個(gè)視角獲取目 標(biāo)物體的圖像 分別為左平面圖和右平面圖 目標(biāo)物 體在左右平面圖上存在兩個(gè)投影點(diǎn) P L 和 P R 根據(jù)兩相 機(jī)的擺放位置 以及投影點(diǎn)的位置 利用三角形相似 原理便可以計(jì)算出目標(biāo)物體的三維坐標(biāo)信息 a 相機(jī)坐標(biāo)系 b 機(jī)器人坐標(biāo)系 圖 5 視覺(jué)標(biāo)定圖片 圖6 雙目視覺(jué)目標(biāo)定位示意圖 計(jì)算三維場(chǎng)景中目標(biāo)點(diǎn)在左右兩個(gè)視圖上形成的 視差 首先要把該點(diǎn)在左右視圖上兩個(gè)對(duì)應(yīng)的投影點(diǎn) 匹配起來(lái) 然而 在二維空間上匹配對(duì)應(yīng)點(diǎn)是非常耗 時(shí)的 為了減少匹配搜索范圍 需要進(jìn)行雙目相機(jī)的 立體校正 將二維上的匹配搜索降低到一維 圖7 立體校正后的雙目視覺(jué)目標(biāo)定位示意圖 立體校正就是利用極線約束將左右兩個(gè)視圖平面 的對(duì)極線限制在同一水平線上 這樣一幅圖像上任意 28 農(nóng)業(yè)裝備 農(nóng)業(yè)開(kāi)發(fā)與裝備 2023年第10期 一點(diǎn)與其在另一幅圖像上的對(duì)應(yīng)點(diǎn)就必然具有相同的 行號(hào) 只需在該行進(jìn)行一維搜索即可匹配到對(duì)應(yīng)點(diǎn) 使用 Opencv雙目相機(jī)校正函數(shù)進(jìn)行立體校正 校正后 的雙目視覺(jué)目標(biāo)定位示意圖如圖 7所示 此時(shí)對(duì)極線與 相機(jī)的連線 基線 平行 左右成像平面共面 圖8 雙目視覺(jué)相機(jī)平面示意圖 雙目視覺(jué)相機(jī)平面示意圖如圖8所示 目標(biāo)物體 P X Y Z 在左右相機(jī)的投影點(diǎn)分別為PL和PR 經(jīng)過(guò)立體校正后 兩者的連線與基線平行 投影點(diǎn)PL 和PR在左右平面的坐標(biāo)分別為 xL yL 和 xR yR 相機(jī)焦距為f 左右相機(jī)基線為b 利用三角形 相似原理 求出P X Y Z 的空間坐標(biāo)為 null null null null null null null null null null null null null null 7 4 試驗(yàn)與結(jié)果分析 機(jī)器人的遠(yuǎn)程執(zhí)行軟件界面如圖9所示 界面可 以實(shí)時(shí)顯示采摘目標(biāo) 及對(duì)應(yīng)的相機(jī)坐標(biāo)和機(jī)器人坐 標(biāo) 6自由度機(jī)械臂的角度等信息 機(jī)器人的遠(yuǎn)程執(zhí)行 軟件界面還可以遠(yuǎn)程控制機(jī)器人動(dòng)作 保障采摘系統(tǒng) 作業(yè)安全 試驗(yàn)于江蘇省農(nóng)博園番茄溫室中進(jìn)行 機(jī)器人在室 內(nèi)無(wú)光照環(huán)境下進(jìn)行采摘 觀察其采摘機(jī)器人整體試驗(yàn) 數(shù)據(jù)如表2所示 對(duì)采摘機(jī)器人視覺(jué)系統(tǒng)的檢測(cè)坐標(biāo)和 機(jī)器人手爪坐標(biāo)進(jìn)行了分析 其誤差都還在可以允許范 圍之內(nèi) 自主番茄采摘機(jī)器人成功率達(dá)到 85 左右 5 結(jié)論 本文設(shè)計(jì)一款農(nóng)業(yè)采摘機(jī)器人 該機(jī)器人可以在 番茄溫室中采用同時(shí)定位和地圖構(gòu)建自主路徑規(guī)劃 使用雙目視覺(jué)攝像頭可完成對(duì)成熟草莓的自動(dòng)識(shí)別和坐 標(biāo)定位 成熟草莓識(shí)別率大概在 85 滿(mǎn)足采摘要求 參考文獻(xiàn) 1 羅錫文 廖娟 胡煉 等 提高農(nóng)業(yè)機(jī)械化水平促進(jìn)農(nóng)業(yè)可 持續(xù)發(fā)展 J 農(nóng)業(yè)工程學(xué)報(bào) 2016 32 01 1 11 2 謝斌 武仲斌 毛恩榮 農(nóng)業(yè)拖拉機(jī)關(guān)鍵技術(shù)發(fā)展現(xiàn)狀與 展望 J 農(nóng)業(yè)機(jī)械學(xué)報(bào) 2018 49 08 1 17 3 魏博 何金銀 石陽(yáng) 等 欠驅(qū)動(dòng)式柑橘采摘末端執(zhí)行器設(shè) 計(jì)與試驗(yàn) J 農(nóng)業(yè)機(jī)械學(xué)報(bào) 2021 52 10 120 128 4 于豐華 周傳琦 楊鑫 等 日光溫室番茄采摘機(jī)器人設(shè)計(jì) 與試驗(yàn) J 農(nóng)業(yè)機(jī)械學(xué)報(bào) 2022 53 1 41 49 5 湯亞?wèn)| 番茄智能采摘機(jī)構(gòu)優(yōu)化設(shè)計(jì)及試驗(yàn)研究 D 鄭 州 河南農(nóng)業(yè)大學(xué) 2018 圖 9 遠(yuǎn)程執(zhí)行軟件界面 29 農(nóng)業(yè)裝備農(nóng)業(yè)開(kāi)發(fā)與裝備 2023年第10期 6 楊光友 倪博文 李江 等 水田作業(yè)農(nóng)業(yè)機(jī)器人平臺(tái)設(shè)計(jì) J 農(nóng)機(jī)化研究 2021 43 07 51 57 7 Qiu Q Fan Z Meng Z et al Extended ackerman steering principle for the coordinated movement control of a four wheel drive agricultural mobile robot J Computers and Electronics in Agriculture 2018 152 40 50 8 李傳江 宋錦遠(yuǎn) 程璐璐 等 智能四輪驅(qū)動(dòng)送餐車(chē) P 上 海 CN107041634A 2017 08 15 9 司博文 薛新宇 崔龍飛 等 農(nóng)用輪式機(jī)器人轉(zhuǎn)向系統(tǒng)半 實(shí)物仿真試驗(yàn)臺(tái)設(shè)計(jì)與試驗(yàn) J 中國(guó)農(nóng)機(jī)化學(xué)報(bào) 2021 42 05 114 122 10 Liao J C Chen S H Zhuang Z Y et al Designing and manufacturing of automatic robotic lawn mower J Processes 2021 9 2 358 11 郭志越 王偉 莊煜 等 基于 Solidworks的農(nóng)業(yè)信息采集系 統(tǒng)設(shè)計(jì) J 森林工程 2015 31 04 92 97 12 王其東 曹也 陳無(wú)畏 等 輪轂電機(jī)驅(qū)動(dòng)車(chē)輛線控差動(dòng) 轉(zhuǎn)向的研究 J 汽車(chē)工程 2019 41 12 1384 1393 1409 13 高超 張緩緩 閆業(yè)翠 等 輪轂電機(jī)驅(qū)動(dòng)汽車(chē)差動(dòng)助力轉(zhuǎn) 向建模與仿真 J 農(nóng)業(yè)裝備與車(chē)輛工程 2020 58 10 27 32 14 Zhang H Zhang Y Yang T A survey of energy efficient motion planning for wheeled mobile robots J Industrial Robot the international journal of robotics research and application 2020 47 4 607 621 15 Ye Yunxiang Wang Zhaodong Dylan Jones et al Bin Dog A robotic platform for bin management in orchards J Robotics 2017 6 2 12 表2 番茄采摘數(shù)據(jù) 序號(hào) 檢測(cè)坐標(biāo) 手爪坐標(biāo) 誤差 可否采摘成功 番茄1 342 3 445 2 356 8 346 7 442 4 355 7 4 4 2 8 1 1 是 番茄2 457 2 561 3 581 7 455 1 567 3 583 8 2 1 6 0 2 1 是 番茄3 472 8 537 7 491 5 469 1 540 6 493 7 3 7 2 9 2 2 是 番茄4 531 4 500 1 584 2 530 8 498 3 589 8 0 6 1 8 5 6 是 番茄5 342 0 352 8 420 1 348 2 355 6 426 5 6 2 2 8 6 4 否 番茄6 486 2 458 4 529 8 488 9 454 6 527 0 2 7 3 8 2 8 是 番茄7 513 2 543 6 398 3 510 9 540 1 399 8 2 3 3 5 1 5 是 草莓8 556 8 572 1 492 2 562 6 572 7 490 7 5 8 0 6 1 5 是 草莓9 468 3 495 2 480 5 465 8 494 6 478 6 2 5 0 6 1 9 是 草莓10 549 2 570 6 483 7 547 8 568 9 480 6 1 4 1 7 3 1 是