溫室番茄采摘機器人系統(tǒng)設計.pdf

25 農業(yè)裝備農業(yè)開發(fā)與裝備 2023年第10期 溫室番茄采摘機器人系統(tǒng)設計 姬麗雯 1 2 張 豪 1 吳 丹 1 2 高 帥 1 2 1 江蘇農林職業(yè)技術學院機電工程學院 江蘇句容 212400 2 江蘇省現(xiàn)代農業(yè)裝備工程中心 江蘇句容 212400 摘要 設計了一種應用于溫室番茄采摘的機器人 該 機器人可以在溫室中自動規(guī)劃路徑 并識別和采摘成 熟番茄 設計以分布式計算系為主控制網絡 以激光 雷達進行移動機器人的地圖構建與定位 視覺系統(tǒng)智 能識別番茄進行3 D定位 通過視覺系統(tǒng)軟件開發(fā)結合 雙目相機硬件結構實現(xiàn)果實的精準識別和定位 關鍵詞 番茄采摘機器人 路徑規(guī)劃 視覺系統(tǒng) 0 引言 在果蔬作業(yè)生產鏈中 采摘作業(yè)是整個生產鏈中 最耗時 費力的環(huán)節(jié) 且采摘作業(yè)存在季節(jié)性強 勞 動強度大 投入費用高的特點 因此農業(yè)采摘機器人 研究發(fā)展有極強的現(xiàn)實意義 1 2 國內農業(yè)機器人發(fā) 展相對于國外比較晚 但經歷多年的不斷的研究和 發(fā)展 也取得了一定的成就 江蘇大學研制了番茄采 摘機器人 將 RGB顏色空間轉換成 HIS顏色空間 王 沈輝等人基于神經網絡 創(chuàng)建了雙目立體視覺實驗的 平臺 魏博等設計了一種欠驅動式柑橘采摘末端執(zhí)行 器 通過三個雙連桿并聯(lián)式手指充分抓握和偏轉融合 控制 實現(xiàn)柑橘的穩(wěn)定采摘 使用的末端執(zhí)行器具有 適應性強 抓取穩(wěn)定等優(yōu)點 但只在手指內部貼有軟 硅橡膠的設計無法避免果實采摘時的破損 將影響果 實的品質 3 于豐華等將機器人的機械臂擴展到6自由 度 機械臂搭載了附有薄膜壓力傳感器的柔性手爪 基于R FCN卷積神經網絡視覺識別技術 設計了以番 茄為采摘對象的移動機器人 但是機器人必須通過巡 線相機識別溫室內定位膠帶來完成巡檢和采摘 移動 的靈活性受到限制 4 雖然采摘機器人的研究較多 但 研究深度還有待進一步提高 本文設計了一款溫室番茄采摘機器人 采用同時 定位和地圖構建實現(xiàn)機器人的路徑規(guī)劃 雙目深度相 機實現(xiàn)對成熟番茄的識別和定位 搭載柔性仿生夾爪 的 6自由度機械 臂實現(xiàn)目標番茄的抓取和放置 1 采摘機器人系統(tǒng)功能設計 番茄的培育模式主要有地面土培和基質高架培 育 其中高架基質栽培可改善勞動姿勢 減輕勞動強 度 實現(xiàn)省省力化栽培而且能夠克服連作障礙 實現(xiàn)清 潔化生產 5 本文的農業(yè)采摘機器人是以溫室高架番茄 為采摘對象進行研究 溫室番茄栽培模式如圖1所示 圖 1 溫室番茄栽培模式 采摘機器人的硬件結構圖如圖2所示 包括激光雷 達 3 D相機 六自由度機械臂 仿 生手爪等 采摘機 器人的底盤用于承載整個車身 6個輪式電機動力驅 動 6個舵機轉向驅動 可前后左右行駛 可實現(xiàn)0度 到360度原地轉彎 RS232通信控制 此小車地盤是全 地形越野地盤 6輪6驅獨立懸掛獨立轉向 整車 最大負載為200 kg 轉彎半徑為0至無窮大 可原地旋 轉 爬坡能力為最大35度 工作電壓為24 55 V 控制 模式為閉環(huán)控制 圖 2 采摘機器人硬件系統(tǒng)結構 軟件開發(fā)使用 1 計算機 相機 將機器人控制 器 3D相機等關聯(lián)起來開發(fā)圖像識別和采摘系統(tǒng) 2 基金項目 江蘇省大學生創(chuàng)新創(chuàng)業(yè)訓練計劃項目 202013103 077y 作者簡介 姬麗雯 1989 女 山東曲阜人 碩士 研究方 向為智能農業(yè)裝備與技術 26 農業(yè)裝備 農業(yè)開發(fā)與裝備 2023年第10期 計算機 底盤 將激光雷達和小車底盤關聯(lián)起來開發(fā) 小車導航系統(tǒng)拓展功能 3 計算機 客戶端 遠程操 控使用 各計算機的連接拓撲如圖 3所示 圖3 各計算機連接拓撲 機器人采摘流程如圖 4所示 機器人通過激光雷達 構建環(huán)境地圖用做車輛導航 地圖構建完成以后可以 進入采摘環(huán)節(jié) 機器人開始移動 并使用雙目攝像頭 進行拍照識別 如果檢測到成熟番茄 則停止識別并 對目標番茄進行定位 引導機器人進行采摘動作并釋 放到果籃處 再回到采摘初始位置 若采摘目標位置 超過設置界限 不執(zhí)行采摘動作 圖 4 機器人采摘流程圖 2 采摘機器人導航系統(tǒng) 本機器人采用了思嵐 RPLIDAR A3紅外激光雷達 通過串口與 Raspberry Pi 4B相連 激光雷達的主要技術 參數(shù)如表1所示 表1 RPLIDAR A3激光雷達主要技術參數(shù) 項目 典型值 測量距離 25m 掃描范圍 360 采樣頻率 16000次 s 掃描頻率 15Hz 角度分辨率 0 225 測距相對誤差 1 現(xiàn)在需要構建地圖和路徑規(guī)劃 因為到達一個新 的環(huán)境是必須進行的一個操作 6 9 此過程需要激光雷 達和遠程工控機 通過無線網絡使用遠程工控機 控 制底盤控制系統(tǒng) 10 12 緊接著發(fā)出構建地圖和規(guī)劃路 徑指令 驅動激光雷達開始規(guī)建 同時使用遙控裝置 進行提高路徑的正確性和在遠程控制電腦上地圖完整 性 隨著地圖構建完成將采摘車遙控至起點位置 然 后遠程發(fā)送指令 并保存地圖 然后對路徑進行人工 規(guī)劃 設立原點 采摘點 返回位置 并上傳至底盤 控制系統(tǒng) 3 采摘機器人視覺系統(tǒng) 采摘機器人使用3D相機拍攝番茄 可以獲取將被 采摘番茄的立體圖像信息 3D相機可以通過智能識別 算法識別出成熟番茄 然后通過計算機立體圖像識別 和3D的位置信息分析 最后實現(xiàn)番茄的立體定位 本 文中采用的3D相機是小覓智能的雙目深度相機 這款 3D相機相關參數(shù)為 線路板尺寸大小為90 26 mm 總 尺寸為124 33 3 32 5 mm 分辨率分別為2 560 720 1 280 480 深度分辨率為1 280 720 640 480 像素 尺寸3 75 3 75 um IR可探測距離為3 m 3 1 視覺識別 使用基于新算子的OTSU分割方法 將背景與目標 進行區(qū)分 最大類間方差算法 OTSU 是由日本學者 大津展之提出的 這種算法整個過程如下 1 選擇其中一個 具有代表性的灰度值 記為k 他一般分為兩個準類 分別是C 1 K 1 m 和 C 0 1 K 則每一類產生的概率分別為 1 2 C 0 C 1 平均灰度值 2 27 農業(yè)裝備農業(yè)開發(fā)與裝備 2023年第10期 3 整體平均灰度值為 3 4 C 0 C 1 兩類之間的方差 4 5 通過遍歷求得 k 的值 使得 5 6 k 即為所求 以該值為閾值來對圖像進行分割 3 2 視覺標定 由于相機視野中捕獲目標物體的坐標系與機器人 坐標系不一致 它們各自的坐標沒有聯(lián)系 所以為了 使兩者坐標系形成關聯(lián) 以便引導機器人進行采摘 故需要將相機的坐標系變換到機器人坐標系中 即進 行標定 13 15 要完成機器人與物體的坐標變換標定 需要一個 矩陣 4 x4 這個矩陣包含著一個旋轉矩陣 3X3 和一個平移矩陣 1X3 變換矩陣由旋轉矩陣和平移 矩陣組成 我們以機械臂末端坐標系到機械臂基底坐 標系變換矩陣為例進行說明 轉換矩陣表示如公式 6 end 1 nullnullnull nullnullnull nullnullnull null null null null 0 6 其中 nullnullnull null null 機械臂末端坐標系到機械臂基底坐標 系的旋轉矩陣 它為 3x3 矩陣 nullnullnull null null 機械臂末端坐標系到機械臂基底坐標系的平 移矩陣 它為 3x1 矩陣 具體的標定步驟為 1 選取合適的四個標定點 四個標定點應該差異 化 比如遠近位置各不相同 同時又應該在相機的拍 攝范圍和機械臂的可采摘范圍之內 2 運行采摘機器人軟件 確保機器人在采摘初始 位置 點擊識別采摘 相機在初始采摘位置拍照 識 別出果實 使用TeamViewer遠程控制相機計算機 使 用相機計算機提供的ImageJ軟件在相機計算機標定出 果實位置 如圖 5 a 所示 3 利用示教器遙控機械臂到當前標定點所在的果 實位置 記錄下示教器的位置X Y Z值 得到機器 人坐標系 如圖 5 b 所示 4 將數(shù)據(jù)填入小覓相機內參列表中 將標定數(shù) 據(jù)填入農業(yè)采摘機器人軟件平臺中 點擊生成變換矩 陣 保存變換矩陣 至此標定完成 3 3 基于雙目視覺的目標番茄定位 雙目視覺目標定位示意圖如圖6所示 采用兩臺內 參數(shù)完全一致的相機 C L 和 C R 從左右兩個視角獲取目 標物體的圖像 分別為左平面圖和右平面圖 目標物 體在左右平面圖上存在兩個投影點 P L 和 P R 根據(jù)兩相 機的擺放位置 以及投影點的位置 利用三角形相似 原理便可以計算出目標物體的三維坐標信息 a 相機坐標系 b 機器人坐標系 圖 5 視覺標定圖片 圖6 雙目視覺目標定位示意圖 計算三維場景中目標點在左右兩個視圖上形成的 視差 首先要把該點在左右視圖上兩個對應的投影點 匹配起來 然而 在二維空間上匹配對應點是非常耗 時的 為了減少匹配搜索范圍 需要進行雙目相機的 立體校正 將二維上的匹配搜索降低到一維 圖7 立體校正后的雙目視覺目標定位示意圖 立體校正就是利用極線約束將左右兩個視圖平面 的對極線限制在同一水平線上 這樣一幅圖像上任意 28 農業(yè)裝備 農業(yè)開發(fā)與裝備 2023年第10期 一點與其在另一幅圖像上的對應點就必然具有相同的 行號 只需在該行進行一維搜索即可匹配到對應點 使用 Opencv雙目相機校正函數(shù)進行立體校正 校正后 的雙目視覺目標定位示意圖如圖 7所示 此時對極線與 相機的連線 基線 平行 左右成像平面共面 圖8 雙目視覺相機平面示意圖 雙目視覺相機平面示意圖如圖8所示 目標物體 P X Y Z 在左右相機的投影點分別為PL和PR 經過立體校正后 兩者的連線與基線平行 投影點PL 和PR在左右平面的坐標分別為 xL yL 和 xR yR 相機焦距為f 左右相機基線為b 利用三角形 相似原理 求出P X Y Z 的空間坐標為 null null null null null null null null null null null null null null 7 4 試驗與結果分析 機器人的遠程執(zhí)行軟件界面如圖9所示 界面可 以實時顯示采摘目標 及對應的相機坐標和機器人坐 標 6自由度機械臂的角度等信息 機器人的遠程執(zhí)行 軟件界面還可以遠程控制機器人動作 保障采摘系統(tǒng) 作業(yè)安全 試驗于江蘇省農博園番茄溫室中進行 機器人在室 內無光照環(huán)境下進行采摘 觀察其采摘機器人整體試驗 數(shù)據(jù)如表2所示 對采摘機器人視覺系統(tǒng)的檢測坐標和 機器人手爪坐標進行了分析 其誤差都還在可以允許范 圍之內 自主番茄采摘機器人成功率達到 85 左右 5 結論 本文設計一款農業(yè)采摘機器人 該機器人可以在 番茄溫室中采用同時定位和地圖構建自主路徑規(guī)劃 使用雙目視覺攝像頭可完成對成熟草莓的自動識別和坐 標定位 成熟草莓識別率大概在 85 滿足采摘要求 參考文獻 1 羅錫文 廖娟 胡煉 等 提高農業(yè)機械化水平促進農業(yè)可 持續(xù)發(fā)展 J 農業(yè)工程學報 2016 32 01 1 11 2 謝斌 武仲斌 毛恩榮 農業(yè)拖拉機關鍵技術發(fā)展現(xiàn)狀與 展望 J 農業(yè)機械學報 2018 49 08 1 17 3 魏博 何金銀 石陽 等 欠驅動式柑橘采摘末端執(zhí)行器設 計與試驗 J 農業(yè)機械學報 2021 52 10 120 128 4 于豐華 周傳琦 楊鑫 等 日光溫室番茄采摘機器人設計 與試驗 J 農業(yè)機械學報 2022 53 1 41 49 5 湯亞東 番茄智能采摘機構優(yōu)化設計及試驗研究 D 鄭 州 河南農業(yè)大學 2018 圖 9 遠程執(zhí)行軟件界面 29 農業(yè)裝備農業(yè)開發(fā)與裝備 2023年第10期 6 楊光友 倪博文 李江 等 水田作業(yè)農業(yè)機器人平臺設計 J 農機化研究 2021 43 07 51 57 7 Qiu Q Fan Z Meng Z et al Extended ackerman steering principle for the coordinated movement control of a four wheel drive agricultural mobile robot J Computers and Electronics in Agriculture 2018 152 40 50 8 李傳江 宋錦遠 程璐璐 等 智能四輪驅動送餐車 P 上 海 CN107041634A 2017 08 15 9 司博文 薛新宇 崔龍飛 等 農用輪式機器人轉向系統(tǒng)半 實物仿真試驗臺設計與試驗 J 中國農機化學報 2021 42 05 114 122 10 Liao J C Chen S H Zhuang Z Y et al Designing and manufacturing of automatic robotic lawn mower J Processes 2021 9 2 358 11 郭志越 王偉 莊煜 等 基于 Solidworks的農業(yè)信息采集系 統(tǒng)設計 J 森林工程 2015 31 04 92 97 12 王其東 曹也 陳無畏 等 輪轂電機驅動車輛線控差動 轉向的研究 J 汽車工程 2019 41 12 1384 1393 1409 13 高超 張緩緩 閆業(yè)翠 等 輪轂電機驅動汽車差動助力轉 向建模與仿真 J 農業(yè)裝備與車輛工程 2020 58 10 27 32 14 Zhang H Zhang Y Yang T A survey of energy efficient motion planning for wheeled mobile robots J Industrial Robot the international journal of robotics research and application 2020 47 4 607 621 15 Ye Yunxiang Wang Zhaodong Dylan Jones et al Bin Dog A robotic platform for bin management in orchards J Robotics 2017 6 2 12 表2 番茄采摘數(shù)據(jù) 序號 檢測坐標 手爪坐標 誤差 可否采摘成功 番茄1 342 3 445 2 356 8 346 7 442 4 355 7 4 4 2 8 1 1 是 番茄2 457 2 561 3 581 7 455 1 567 3 583 8 2 1 6 0 2 1 是 番茄3 472 8 537 7 491 5 469 1 540 6 493 7 3 7 2 9 2 2 是 番茄4 531 4 500 1 584 2 530 8 498 3 589 8 0 6 1 8 5 6 是 番茄5 342 0 352 8 420 1 348 2 355 6 426 5 6 2 2 8 6 4 否 番茄6 486 2 458 4 529 8 488 9 454 6 527 0 2 7 3 8 2 8 是 番茄7 513 2 543 6 398 3 510 9 540 1 399 8 2 3 3 5 1 5 是 草莓8 556 8 572 1 492 2 562 6 572 7 490 7 5 8 0 6 1 5 是 草莓9 468 3 495 2 480 5 465 8 494 6 478 6 2 5 0 6 1 9 是 草莓10 549 2 570 6 483 7 547 8 568 9 480 6 1 4 1 7 3 1 是