溫室番茄采摘機器人伸縮式機械臂設計與試驗.pdf

農 業(yè) 機 械 學 報 第 55卷 增刊1 2 0 2 4 年 12 月 溫室番茄采摘機器人伸縮式機械臂設計與試驗 王亞薇 1 2 何津立 1 2 林熙淼 1 2 陸文武 1 馬锃宏 1 3 杜小強 1 4 1 浙江理工大學機械工程學院 杭州 310018 2 浙江省種植裝備技術重點實驗室 杭州 310018 3 全省農業(yè)智能感知 與機器人重點實驗室 杭州 310018 4 農業(yè)農村部東南丘陵山地農業(yè)裝備重點實驗室 部省共建 杭州 310018 摘要 針對番茄采摘環(huán)境復雜 可移動空間小等問題 設計了一種適用于寬溝窄畦溫室種植模式下高效率采摘的番茄自主 采摘機器人 采摘機器人的執(zhí)行機構由四自由度伸縮機械臂 多位姿腕關節(jié)及三指扭轉采摘末端手構成 通過分析番茄的 生長情況和作業(yè)環(huán)境 設計了一種繩排式可伸縮移動關節(jié) 減少伸縮機構的尺寸 針對實際番茄采摘時的動作 采用三指 式扭轉采摘末端執(zhí)行器 增加多位姿腕關節(jié)實現多位姿多方位的扭轉采摘 采摘控制系統(tǒng)基于ROS集成采摘 規(guī)劃等策 略 控制機械臂完成采摘功能 基于寬溝窄畦種植模式下番茄溫室的可移動空間 設計了一款四轉四驅移動底盤 可實現 在番茄種植壟間的移動和轉向 研制了番茄采摘機器人樣機 在番茄設施溫室中進行了實地采摘試驗 果實采摘成功率達 到88 7 采摘周期時間為13 4 s 個 具有較高的采摘作業(yè)效率和采摘成功率 滿足溫室番茄采摘要求 關鍵詞 番茄 采摘機器人 伸縮式機械臂 溫室 寬溝窄畦種植模式 中圖分類號 S225 92 文獻標識碼 A 文章編號 1000 1298 2024 S1 0018 11 Design and Experiment of Tomato Picking Robot Based on Telescopic Robotic Arm WANG Yawei 1 2 HE Jinli 1 2 LIN Ximiao 1 2 LU Wenwu 1 MA Zenghong 1 3 DU Xiaoqiang 1 1 School of Mechanical Engineering Zhejiang Sci Tech University Hangzhou 310018 China 2 Key Laboratory of Transplanting Equipment and Technology of Zhejiang Province Hangzhou 310018 China 3 Zhejiang Key Laboratory of Intelligent Sensing and Robotics for Agriculture Hangzhou 310018 China 4 Key Laboratory of Agricultural Equipment for Hilly and Mountainous Areas in Southeastern China Co construction by Ministry and Province Ministry of Agriculture and Rural Affairs Hangzhou 310018 China Abstract The development of intelligent agriculture is the future trend in the agricultural field and the development of intelligent harvesting equipment is a key issue in promoting the transformation and upgrading of the farming industry Given the complexity of the tomato picking environment small mobile space and other issues an autonomous tomato picking robot suitable for high efficiency picking under the wide trench and narrow ridge greenhouse planting mode was designed The actuator of the picking robot consisted of a four degree of freedom telescopic robotic arm a multi positional wrist joint and a three finger twisting picking end hand By analyzing the growth of tomatoes and the operating environment a rope row type of retractable mobile joint was designed to reduce the size of the retractable mechanism For the actual tomato picking action a three finger twist picking end effector was used and a multi position wrist joint was added to achieve multi position multi directional twist picking The picking control system was based on ROS integrated picking planning and other strategies to control the robotic arm to complete the picking function Based on the movable space of tomato greenhouses under the planting mode of wide trench and narrow ridge a four rotation and four wheel drive mobile chassis was designed which can realize the movement and steering between tomato planting rows Finally a prototype tomato picking robot was developed and a field picking test was carried out in a greenhouse and the fruit picking success rate reached more than 85 and the picking cycle time was 13 4s which had a high picking operation efficiency and picking success rate and met the requirements of tomato picking in greenhouses Key words tomatoes picking robot telescopic robotic arm greenhouse wide trench narrow ridge cultivation mode doi 10 6041 j issn 1000 1298 2024 S1 003 收稿日期 2024 07 20 修回日期 2024 09 20 基金項目 浙江省自然科學基金重大項目 LD24E050006 作者簡介 王亞薇 2000 女 碩士生 主要從事農業(yè)機器人研究 E mail 1138427411 通信作者 杜小強 1978 男 教授 博士 主要從事智能農業(yè)裝備研究 E mail xqiangdu 增刊1 王亞薇 等 溫室番茄采摘機器人伸縮式機械臂設計與試驗 0 引言 我國是目前世界上番茄種植面積最大的國家 1 番茄以其豐富的營養(yǎng)價值廣受歡迎 種植面積及產量逐 年上升 但目前國內番茄采摘仍以人工為主 用工整體 老齡化 同時設施溫室環(huán)境作業(yè)強度大 機械化水平低 采摘效率低 2 4 人工采摘成本的增加促進了采摘機器人的研究 美國華盛頓州立大學的DAVIDSON等 5 開發(fā)了一款6自 由度機械臂和三指末端執(zhí)行器的蘋果采摘機器人 該機 器人通過3D相機獲取果實坐標信息 在實驗室環(huán)境下 果實的采摘成功率為56 江蘇大學趙德安團隊 6 同 中國農業(yè)機械化科學研究院張小超團隊合作開發(fā)了一 款5自由度的蘋果采摘機器人 具有整體升降和小臂伸 縮功能 在實驗室條件下的抓取成功率為80 采摘周 期為15 s 針對丘陵果園地形環(huán)境 鮑秀蘭等 7 設計了 一種可以自適應調平平臺的柑橘采摘機器人 結合剪切 夾持一體化的末端執(zhí)行器降低果實的損傷 國外率先 開展了對番茄采摘機器人的研究 第一臺番茄采摘機器 人由美國研制 8 國內高校和研究中心對番茄采摘機 器人的研究起步較晚 馮青春 梁喜鳳 劉繼展等團 隊 9 15 相繼開展了對番茄采摘機器人的研究 構建的番 茄采摘機器人樣機多采用工業(yè)機械臂進行采摘試驗 近年來 隨著技術的發(fā)展 國內外針對番茄采摘機 器人進行了進一步的研究 針對日光溫室番茄采摘 于 豐華等 16 設計并制作了一臺可以實現巡檢 采摘 收集 的番茄采摘機器人 李興旭等 17 采用四軸協作機械臂 基于級聯視覺檢測流程搭建機器人系統(tǒng) 實現了在日光 溫室場景中的檢測 采摘試驗 SU等 18 設計了一種應 用于番茄棚架栽培生長環(huán)境的溫室番茄采摘底盤 具有 較好的路徑巡航功能和定位精度 為了降低采摘過程 中對果柄和主莖的損傷 ZHENG等 19 提出了一種嵌套 采摘的方法 應用于番茄采摘機器人系統(tǒng) 采摘周期時 間為14 9 s 由于視覺技術的限制 傳統(tǒng)的檢測方法針對果實遮 擋的番茄目標識別準確率不高 從而導致機器人的采摘 成功率下降 隨著深度學習的研究深入 被廣泛應用于 果蔬識別中 HU等 20 提出了一種結合深度學習和邊緣 輪廓檢測的成熟番茄檢測方法 用來區(qū)分開重疊的番 茄 為了檢測植物上高遮擋的未成熟番茄 MU等 21 使 用深度學習模型自動檢測得到完整的綠色番茄 檢測的 平均精度達到了87 83 張勤等 22 提出了一種基于實 例分割的番茄串視覺定位與采摘姿態(tài)估算方法 實現果 梗姿態(tài)識別和采摘點精準定位 并基于果梗姿態(tài)確定末 端執(zhí)行器的采摘姿態(tài) 提高番茄采摘成功率 本文針對寬溝窄畦種植模式下的番茄生長環(huán)境 同 時為了滿足采摘機器人在田間的高效作業(yè)效率 設計了 一種可在該環(huán)境中移動和自主采摘的番茄采摘機器人 該機器人的采摘機械結構基于伸縮式機械臂和多自由 度末端執(zhí)行器 底盤結構根據種植農藝特點設計尺寸 采用四輪獨轉獨驅的電力驅動方式 1 采摘機器人機械系統(tǒng)設計 1 1 采摘作業(yè)環(huán)境分析 傳統(tǒng)的溫室番茄種植主要采用寬畦窄溝 雙行種植 的栽培模式 不利于進行機械化作業(yè) 寬溝窄畦栽培模 式可以改善植株外部光照條件和通風條件 降低病害發(fā) 生率 提高番茄精品果的質量 通過番茄采摘的機械化 作業(yè) 可提高勞動效率 23 為了方便農機采摘作業(yè) 同 時減少人為機械損傷 試驗在浙江省溫州市蒼南縣直勇 陽光農場寬溝窄畦種植模式下的溫室番茄中進行 目前 該農場番茄采摘方式均采用人工采摘 溫室內栽培畦 上底寬60 cm 下底寬80 cm 行與行之間的壟間距為 90 cm 采用單行種植 此外 番茄之間的株距為40 cm 番茄植株平均高度180 cm 番茄的主要生長范圍為30 120 cm 番茄栽培模式如圖1所示 兩種模式下溫室番 茄栽培模式數據如表1所示 如表1所示 寬溝窄畦栽培模式下溫室番茄壟間區(qū) 域相較于傳統(tǒng)栽培模式下壟間距擴大50 cm 可以滿足 小型的移動底盤在壟間行走 針對溫室番茄這種果實 空間密集分布 壟間間距狹窄的特點 采摘機器人一般 采用行走 檢測 停止 采摘的方式進行果實采摘 這就 要求機械臂有很大的作業(yè)空間 且具有較小尺寸結構 多級伸縮的結構為機器人采摘提供了更多的可能 1 2 伸縮式機械臂 1 2 1 工作原理 采摘機器人多采用通用型工業(yè)機械臂 這種通用型 圖1 寬溝窄畦栽培模式 Fig 1 Wide furrow and narrow bed cultivation pattern 表1 溫室番茄不同栽培模式 Tab 1 Different cultivation patterns of greenhouse tomatoes 栽培模式 寬畦窄溝 寬溝窄畦 栽培畦寬 cm 上底 60 90 下底 80 110 溝寬 cm 90 40 株距 cm 40 45 種植方式 單行種植 雙行種植 19 農 業(yè) 機 械 學 報 2 0 2 4年 工業(yè)機械臂會影響機器人 操作環(huán)境和拾取對象之間的 協調 也會帶來操作和維護方面的缺點 24 在滿足工作 空間的情況下 通用型工業(yè)機械臂存在結構龐大 難以 輕量化等問題 SASIADEK 25 提出的伸縮式機械手具 有結構緊湊 重量輕的優(yōu)點 在溫室番茄生長環(huán)境中有 著明顯的優(yōu)勢 ARIKAPUDI等 26 提出了一種伸縮式機 械手來實現線性水果可達性 但其復雜的結構和緩慢的 運動限制了其在水果采摘領域的應用 此外 在這些情 況下 有效負載 工作空間和控制并沒有針對果園應用 進行全面優(yōu)化 針對采摘作業(yè)環(huán)境中番茄果實的分布范圍 壟間空 間小等情況 機械臂設計需要滿足大工作空間 小體積 及輕量化等要求 本文設計了一種4自由度的伸縮式采 摘機械臂 包括2個旋轉關節(jié)與2個平移關節(jié) 可以控制 機械臂到達目標預采摘點的位置 如圖2所示 為了滿 足采摘要求 本文將關節(jié)1和關節(jié)3設置為旋轉關節(jié) 擴 大機械臂在X軸和Y軸方向上的運動空間 以此來采摘 不同高度和范圍下的番茄果實 同時有助于果實的收集 工作 旋轉關節(jié)3的設計實現了在不擴大移動關節(jié)2和 移動關節(jié)4的條件下提升機械臂高度行程 同時受到工 作空間的限制 關節(jié)4需采用多級伸縮結構以滿足大行 程 小體積的要求 伸縮軸的作用是能夠快速地移動末端抓手到指定 位置進行抓取 實現番茄采摘收集工作 從而提高機械 臂作業(yè)效率 寬溝窄畦栽培模式下的溫室番茄生長范 圍較大 采用普通單級伸縮型機械臂難以滿足要求 末 端關節(jié)振動問題更會大大影響機械臂定位精度 為實 現高效穩(wěn)定運行 伸縮關節(jié)需要結構簡單 控制方便 重 量輕 體積小 行程大等特點 繩排式伸縮機構控制簡 單 成本低 能夠體現最佳的輕量化和緊湊的設計方案 因此 機械臂伸縮關節(jié)采用繩排式三級同步伸縮結構方 案 相比單級的伸縮機構能夠提升采摘速度 縮小伸縮 臂的體積 圖3為本文設計的繩排式多級同步伸縮機構 原理圖 為實現高精度與高速的伸縮運動 使用同步帶 替代繩索陣列 同步伸縮臂主要由3級臂組成 結構相對 液壓驅動更加小巧 中間不存在液壓缸 在縮小體積的 同時更加容易實現輕量化設計 使得結構更加穩(wěn)固 1 2 2 伸縮臂關節(jié)尺寸確定 由于伸縮軸完全伸縮時整體為懸臂梁結構 其末端 的變形與截面形狀 尺寸都有較大的影響 為使得伸縮 軸整體更加輕盈且具有可靠的穩(wěn)定性 材質采用碳纖維 板 同時 為了保證機械臂整體的運動精度 其末端精度 應控制在0 5 mm內 其兩級伸縮末端撓度應在 0 5 mm 內 番茄平均質量為0 5 kg 為了防止機械臂與番茄枝 干發(fā)生碰撞 將末端受力設置為100 N 最終根據以上設 計要求對材料截面寬度以及厚度進行計算求解 將各 級截面近似為槽型截面 如圖4所示 截面慣性矩計算式為 I x BH 3 bh 3 12 1 式中 I x 截面慣性矩 B 截面外部寬度 H 截面外部高度 b 截面內部寬度 h 截面內部高度 三級臂需完全縮進入二級臂內部 同時二級臂需能 收入至一級臂內部 各級臂之間均取上級臂寬度 厚度 的0 8倍 計算以二級臂為起點 由 I x BH 3 B t H 2t 3 12 2 可得 I x3 0 409 6I x2 3 式中 t 截面厚度 I x3 三級臂截面慣性矩 I x2 二級臂截面慣性矩 兩級臂完全伸出時其變形量為 F 1 L 3 1 3EI 1 F 2 L 3 2 3EI 2 4 式中 變形量 F 1 一級臂受到的力 a 關節(jié)示意圖 b 三維模型 圖2 伸縮式機械臂關節(jié) Fig 2 Schematics of joints of telescopic robotic arm 圖3 同步帶繩排多級同步伸縮機構原理圖 Fig 3 Schematic of synchronous belt rope row multi stage synchronous expansion mechanism a 槽型截面示意圖 b 伸縮關節(jié)變形 圖4 截面與關節(jié)變形 Fig 4 Cross sectional and joint deformation 20 增刊1 王亞薇 等 溫室番茄采摘機器人伸縮式機械臂設計與試驗 L 1 一級臂長度 F 2 二級臂受到的力 L 2 二級臂長度 E 楊氏模量 I 1 一級臂截面慣性矩 由于兩級伸縮結構存在 作用在二級臂上的力矩與 一級臂相關 一級臂固定點位于中點處 為方便計算將 其簡化成簡支梁集中力矩至連接點 F 1 0 64G L 2 HB B t H 2t L 2 2L 1 L 2 F 2 2L 2 2L 1 L 2 0 5L L 1 5 式中 L 三級臂長度 G 重力 伸縮臂密度 表2為已知參數 將已知參數代入式 4 可得總變 形量與截面參數關系式為 根據末端負載初步優(yōu)化各級槽型寬度B 高度H 厚 度t以最小化末端變形量 576 2Bt tH 2t 2 20 8 1 725 10 10 BH 3 B t H 2t 3 6 4 7 065 6 10 9 BH 3 B t H 2t 3 6 在Matlab中進行優(yōu)化求解 將 關于t與B的圖像在 Matlab中進行繪制 根據圖5a可知截面的厚度與寬度對 末端的撓度都會產生較大的影響 其結果并非是正相關 的 因此選取撓度在0 5 mm范圍內的B t作為設計初 值 編寫Matlab程序求出在當前撓度范圍內的質量最小 值 結果如圖5b所示 根據計算結果即可得到二級臂尺寸參數 如表3所 示 其截面寬度與高度選取0 065 m 厚度選取0 003 m 三級臂尺寸參數為二級臂0 8倍 其寬度與高度選取為 0 050 m 厚度也保持不變 基座關節(jié)同樣按照0 8倍標 準進行計算 截面寬度與高度為0 085 m 厚度為0 004 m 一 二 三級臂長度分別為0 5 0 4 0 4 m 1 3 三自由度末端執(zhí)行器設計 采摘機器人末端執(zhí)行器是機器人提高工作效率和 采摘成功率的關鍵 HOHIMER等 27 設計了一款氣動 式柔性末端執(zhí)行器 能夠有效避免水果損傷 分離成功 率達到67 為了使末端執(zhí)行器適應不同水果 LU 等 28 設計了3種不同幾何形狀的末端執(zhí)行器 并實驗發(fā) 現直型末端執(zhí)行器性能最好 采摘成功率最高 三指抓 取的末端執(zhí)行器可以減少果實損傷率 適應不同大小和 形狀果實 29 30 無損抓取目標果實是農業(yè)采摘機器人推廣應用的 關鍵之一 采摘機械臂抓取的對象是果實 因此末端執(zhí) 行器既要滿足不損傷采摘對象也要在采摘過程中牢牢 抓住果實 即使是標準化種植的番茄 其果實的生長姿 態(tài)也各不相同 水平靠近進行抓取時抓手受力不同 受 力大的地方很容易在成熟的番茄內部產生瘀傷 最終導 致整個番茄的潰爛 通過對番茄果實生長姿態(tài)進行識 別 設計姿態(tài)可調的末端執(zhí)行器沿果實生長方向進行抓 取采摘 能夠有效減少抓取過程中各手指之間的受力不 均 同時 番茄果梗連接較硬 姿態(tài)可調的末端執(zhí)行器 在抓取過程中可以沿果柄垂直方向進行旋轉 更加有利 于果實的脫落 也不會對果實造成過大的損傷 因此 采用一種三自由度腕關節(jié)末端執(zhí)行器 圖6 采用3個 舵機串聯方式實現腕關節(jié)三自由度采摘姿態(tài)變化 使采 摘末端手能夠實現大幅度的姿態(tài)調整 以適應識別到的 各種果實采摘姿態(tài)來提高果實的采摘成功率 在具體 的采摘過程中 可以根據相機獲得的果實的位置線由機 械臂將腕關節(jié)末端執(zhí)行器送達果實預采摘點附近 再根 據獲得的果實姿態(tài)進行腕關節(jié)姿態(tài)調整實施采摘 具有 結構緊湊和靈活的優(yōu)點 三指節(jié)驅動繩的連接方式種類較多 采用并聯的連 表2 伸縮關節(jié)參數 Tab 2 Parameters of telescopic joint 參數 數值 g m s 2 9 8 kg m 3 2700 L 1 mm 400 L 2 mm 400 L mm 500 F 2 N 20 E GPa 69 a 變形量關于厚度和寬度的響應面 b 質量關于厚度與寬度的響應面 圖5 變形量與質量關系曲面 Fig 5 Deformation mass relationship 表3 二級臂參數計算結果 Tab 3 Calculated results 參數 數值 B m 0 063 8 T m 0 002 6 M g 716 379 6 m 0 502 7 21 農 業(yè) 機 械 學 報 2 0 2 4年 接方式 其繩子在長時間運行后易磨損 且并聯方式三 指節(jié)只能同步運行 因此 本文設計了一種單繩串聯的 方式 一根尼龍繩連接3個指節(jié)與驅動器 每個指節(jié)相互 連接 同時又存在有一定的運動余量 如圖7b所示 當 紅色起點與綠色終點環(huán)繞一圈后拉緊 驅動繩將自動匯 集于匯集點并保持形狀 各個指節(jié)件相互獨立且具有一 定的連接 圖8為優(yōu)化設計的末端夾爪實物圖 通過固 定在驅動電機的旋轉帶動繩索的運動以控制3個指節(jié)的 抓取和松開 夾爪閉合由驅動舵機進行控制 采用扭簧使夾爪在 張開夾爪后自動復位 保證了末端夾爪開口大小與開口 的一致性 1 4 底盤設計 在底盤結構設計方面 傳統(tǒng)的前轉后驅阿克曼轉向 底盤轉彎半徑較大 難以在狹窄的溫室大棚內實現轉 向 換壟等操作 考慮到大棚番茄空間狹窄 采用四輪 獨轉獨驅的動力系統(tǒng) 提高行走 轉向控制的靈活性 也 減小轉向半徑 通過調研寬溝窄畦栽培模式種植農藝 實地測量壟寬 壟間距 種植高度等農藝參數 確定移動 底盤的基本尺寸大小 整個底盤系統(tǒng)主要由輪組 電池 組 控制系統(tǒng)組成 一個輪組通過兩個電機分別控制輪 子的前進和轉向 8個伺服電機支持每個輪組獨立高精 度控制 實現底盤運動自由 運動靈活 承載力強等特 點 底盤結構如圖9a所示 控制系統(tǒng)分別集成在車頭和 車尾部分 電池組模塊集成在整個底盤底部中間位置 便于給整個機器人其余系統(tǒng)供電 在底盤上預留多排 安裝孔位 以便之后二次開發(fā)和升級 輪組結構如圖9b 所示 采用模塊化設計 通過旋轉平臺的安裝孔位將輪 組和底盤連接 這種一體式的模塊化設計便于整個輪 組拆卸 更換和維護 機器人底盤尺寸為1 000 mm 600 mm 400 mm 輪距為550 mm 車體僅為120 kg 該 底盤采用三元鋰電池進行驅動 裝配4個型號為 MD60AIS113的驅動電機和4個MD57AIS77的轉向電 機 可以實現四輪獨立驅動和轉向的功能 同時配有自 主剎車和防撞桿 適用于寬溝窄畦種植模式下狹小 環(huán)境 為了滿足不同地形及工作環(huán)境下的靈活需求 設計 多種轉向模式 圖10 斜向行駛模式提升橫向移動穩(wěn) 定性 原地轉向模式方便窄距果園掉頭 四輪轉向模式 實現減小轉彎半徑 原地轉向模式根據4個轉向輪組均 可360 轉動 根據底盤輪組至整體質心距離計算輪組轉 動至輪胎軸線的延長線交叉于底盤的幾何中心 即可實 現原地轉向 2 采摘機器人視覺與控制系統(tǒng)設計 2 1 視覺識別與定位系統(tǒng) 溫室番茄多呈簇狀生長 每串數量為3 5個 果實 生長密集且彼此相互粘連 不同果實的生長姿態(tài)千變萬 化 基于番茄的生長特性 本文基于卷積神經網絡和點 云處理技術實現設施溫室種植模式下番茄果實的識別 與檢測 具體過程包括圖像采集 番茄目標檢測 RGB D 信息融合和點云處理獲取番茄果實位姿 圖11 圖6 三自由度采摘末端執(zhí)行器 Fig 6 Three degree of freedom picking end effector a 并聯型 b 串聯型 圖7 多指節(jié)驅動繩連接方式 Fig 7 Multi knuckle drive rope connection 圖8 多指節(jié)夾爪 Fig 8 Multi jointed jaws a 底盤裝配軸測圖 b 獨立模塊輪組 圖9 底盤結構圖 Fig 9 Chassis structure diagrams 圖10 不同轉向模式示意圖 Fig 10 Schematic of different steering modes 22 增刊1 王亞薇 等 溫室番茄采摘機器人伸縮式機械臂設計與試驗 2 1 1 數據集構建 Realsense L515相機配備有RGB傳感器和深度傳感 器 可以獲取到高質量的彩色和深度圖像 用于后續(xù)的 圖像處理和特征提取 最終實現目標識別和定位 設施 溫室番茄的種植環(huán)境復雜 果實生長密集 同簇果實的 成熟度不同 面臨著識別難的問題 番茄采摘機器人需 要實現在一個深度模型中完成果實三維位姿和障礙物 快速準確識別 為了提高果實位姿識別精度 本文構建 了復雜溫室背景下關鍵點和語義分割數據集 如圖12所 示 圖12a為原始圖像 圖12b為制作的用關鍵點和邊 界框標注的關鍵點數據集 圖12c為標注主莖掩模的語 義分割數據集 圖12d為最終獲得的掩模標簽 其中 若 番茄花萼可見 花萼中心被標記為關鍵點 若因番茄姿 態(tài)花萼不可見 關鍵點標記花萼與果軸交界處 若花萼 或交界處因遮擋不可見 則不標記關鍵點 由于機器人 與番茄植株的主莖碰撞容易導致采摘失敗 并對機械臂 造成損壞 因此本文將番茄植株的主莖進行分割 制作 為語義分割數據集 2 1 2 多任務卷積神經網絡 番茄果實識別與檢測是采摘機器人視覺系統(tǒng)中的 關鍵部分 本文對復雜環(huán)境下的番茄目標位姿識別展 開了研究 提出了一種多任務卷積神經網絡 它可以在 一個網絡模型中同時完成番茄位姿檢測和莖稈語義分 割 實現采摘場景信息表征 通過融合多尺度特征并確 定語義分割分支位置 提出4種語義分割分支添加策略 提高莖稈分割能力 番茄果實識別算法采用端到端多任務卷積神經網 絡同時完成語義分割 目標定位和關鍵點檢測任務 算 法基于YOLO v5s網絡進行改進 增加語義分割分支 目 標檢測和語義分割共享主干網絡 并在邊界框回歸中加 入關鍵點預測參數 YOLO MCNN架構如圖13所示 相比級聯兩個網絡 此方法減少冗余計算 但帶來 兩個問題 語義分割分支在網絡中的哪一個位置進行添 加能達到最佳效果 在同一個骨干網絡上執(zhí)行多個任務 是否會影響網絡的準確性 語義分割通過下采樣提取 目標特征以增大感受野 并通過上采樣恢復圖像分辨率 便于分類 不同的語義分割策略如圖14所示 YOLO v5s主干網絡對圖像進行了5次下采樣 C1 C5 分辨率 為原圖的1 32 第1次下采樣通過Focus模塊 接下來4 次通過Conv模塊 Neck部分完成了2次上采樣 將分辨 率恢復到1 8 特征融合能夠合并詳細特征并增大感受 野 淺層特征圖適合檢測小目標 深度特征圖適合檢測 大目標 YOLO v5s僅融合了C3和C4級別的特征 由 于莖是小目標 融合淺層C2特征有利于提高分割能力 但增加計算量 YOLO v5s的上采樣達到原圖的1 8 添 加語義分割的最佳位置是第16層Concat層或第17層C3 模塊 簇生番茄多任務卷積神經網絡可視化結果如 圖15所示 2 1 3 點云處理 點云處理模塊由6部分組成 點云分割 體素下采 樣 去除異常值 歐氏顏色聚類 RANSAC球面擬合 關 鍵點索引 通過點云將獲得番茄質心的3D位置和關鍵 點的3D位置 可用于確定番茄果實的3D姿態(tài) 本文采用深度相機實時獲取采摘環(huán)境的彩色圖信 息和深度圖信息 將彩色圖和深度圖像生成點云圖像進 行分割處理 經過訓練 輸入一幅彩色圖模型會輸出番 茄目標邊界框和果實關鍵點 將邊界框 關鍵點的二維 信息映射到點云圖上分割出番茄果實目標 達到減少點 云數量的目的 從而加快點云處理時間 由于番茄果實 形狀為扁球型 花萼部分點云對RANSAC球擬合番茄果 圖11 番茄果實識別與檢測技術路線圖 Fig 11 Technical route of tomato fruit identification and detection 圖12 番茄數據集制作過程 Fig 12 Tomato dataset produced process 23 農 業(yè) 機 械 學 報 2 0 2 4年 實點云獲取質心具有一定不利影響 番茄果實和花萼 在顏色上有較大差距 通過顏色歐氏聚類可以將花萼 與番茄果實分開 番茄果實點云去除花萼部分后更加 類似球形 有利于獲取更加準確的扁球體果實質心 深 度模型提供的關鍵點為二維點 需要在點云圖像中進行 點云配準 但相機本身獲取的點云容易缺失 所以需要 進行關鍵點索引 索引到的關鍵點三維位置和 RANSAC球擬合得到的番茄果實質心三維位置進行連 接 最終獲取到番茄果實位姿 點云處理過程的可視化 結果如圖16所示 2 2 控制系統(tǒng)設計 2 2 1 機械臂控制與仿真 為了充分發(fā)揮機器人的綜合性能 實現高效的采摘 作業(yè) 采摘機器人的機械本體結構及其控制系統(tǒng)的匹配 圖14 不同的語義分割分支策略 Fig 14 Different branching strategies for semantic segmentation 圖13 多任務卷積神經網絡架構 Fig 13 Multi task convolutional neural network architecture 圖15 簇生番茄多任務卷積神經網絡可視化 Fig 15 Multi task convolutional neural network visualization of cluster tomatoes 24 增刊1 王亞薇 等 溫室番茄采摘機器人伸縮式機械臂設計與試驗 設計顯得尤為關鍵 目前 機械臂控制系統(tǒng)主要依賴于 4種核心技術方案 基于PC的控制解決方案 嵌入式系 統(tǒng)方案 結合工控機與數據采集卡及運動控制器的高級 方案 以及可靠的PLC控制系統(tǒng) 現有的幾種機械臂控 制系統(tǒng)大都只能根據給定的姿態(tài)進行重復的操作 難以 實現自主規(guī)劃的功能 而且 采摘機械臂的構型也多種 多樣 各個機械臂的系統(tǒng)也各不相同 很難通用 即使是 同一種類型的機械臂控制系統(tǒng) 也會因為軟件的迭代更 新而產生沖突 傳統(tǒng)的機械臂控制器難以進行二次開 發(fā) ROS在機械臂控制的可移植性與通用性上具有很 大優(yōu)勢 內部具有機械臂運動規(guī)劃功能 能夠快速的進 行軟件的開發(fā) 同時還具有多個中調試與仿真工具 對 于復雜的采摘運動規(guī)劃具有非常大的優(yōu)勢 因此 機械 臂控制系統(tǒng)由基于PC端上位機軟件 ROS 集成 上位機需要處理復雜算法 采集并長期存儲數據 還需要提供圖形化界面供用戶操作 本文采用的上位 機硬件是基于Ubuntu系統(tǒng)的個人計算機 配備有高性能 的CPU 較大的內存和存儲空間 作為控制系統(tǒng)中的核 心部分 上位機與下位機之間可以通過各種通信接口進 行數據交換 本文采用RS485串行端口的Modbus工業(yè) 通信協議以實現與下位機的互聯互通 上位機配有 Windows 10和Ubuntu 20 04兩個系統(tǒng) 首先在Windows 系統(tǒng)下對控制機械臂和夾爪的電機及舵機進行調試安 裝 確定機械臂和夾爪的初始位置 保證Windows下機 械臂與上位機之間的通訊順暢 機械臂的自動運動控 制主要是在上位機的Ubuntu系統(tǒng)下進行 借助MoveIt 在Rviz仿真環(huán)境下進行仿真測試 圖17 并實現真實機 械臂運動控制 將機械臂和夾爪的Solidworks模型導出配置成 URDF模型 使用MoveIt 中的Setup Assistant工具生成 配置文件并建立機器人ROS驅動 最終控制機器人進行 自動采摘 相機獲取到的圖像經過視覺識別定位后得到 采摘目標位置信息 在MoveIt 中完成運動規(guī)劃并將關 節(jié)軌跡發(fā)送到控制器中 電機驅動機械臂到達采摘位置 在這個過程中控制器將機械臂的實時狀態(tài)反饋到 MoveIt 中 Rviz動態(tài)顯示當前狀態(tài) 機械臂的采摘控制 系統(tǒng)集成在ROS系統(tǒng)中 節(jié)點之間的通訊如圖18所示 2 2 2 底盤控制系統(tǒng) 設計的四轉四驅底盤通過Modbus控制8個電機 實現底盤的運動 8個電機均可單獨進行運動控制 其 中4個轉向電機采用位置控制 保證其轉向時 電機驅 動整體輪組轉動角度的精確性 4個驅動電機采用速 度控制 跟蹤其速度變化設計模糊PID控制器 減小機 器人速度誤差 圖19為底盤軟件功能邏輯主要 架構 圖16 三維姿態(tài)檢測可視化過程 Fig 16 Visualisation of 3D pose detection 圖17 Rviz仿真環(huán)境 Fig 17 Rviz simulation environment 圖18 ROS系統(tǒng)節(jié)點架構 Fig 18 ROS system node architecture 25 農 業(yè) 機 械 學 報 2 0 2 4年 底盤控制的方式包括遙控模式和上位機模式 遙 控模式下通過高低電平轉換模塊將接收到的不同遙控 器信號轉換為核心板所能識別的電平信號 執(zhí)行運動控 制指令 上位機控制模式下采用TCP通訊 執(zhí)行控制指 令的人機交互界面如圖20所示 底盤各輪組獨立控制并 會將該模塊的負載信息傳遞至上位機 實現操作人員對 底盤狀態(tài)的實時監(jiān)控 本文設計的底盤采用4個獨立的輪組經由4個獨立 的轉向電機帶動轉向 其幾何中心運動速度方向與前輪 組轉動角度相同 基于模糊PID控制將底盤橫向速度 縱向速度 轉動角度誤差量和誤差變化率作為輸入量 由制定的模糊規(guī)則經過模糊化 模糊推理和解模糊輸出 相應的PID 3個比例修正參數 對整體控制增益進行實 時調參 解決了傳統(tǒng)PID不能實時調整的缺點 3 番茄采摘試驗 3 1 試驗平臺 搭建了果園環(huán)境下機器人樣機試驗平臺 如圖21所 示 并進行了番茄采摘的試驗 果實采摘測試的目的是 評估機械臂在采摘水果時的表現 除了對成功或失敗的 收獲進行評分外 該測試還應測量完成采摘任務所花費 的時間 在進行試驗測試時 環(huán)境適應性 識別精度 采 摘效率 機械臂工作空間 導航系統(tǒng)和用戶交互便利性 是測試時的關鍵 本文使用采摘成功率P 1 采摘時間t作為主要指標 來評估采摘機器人的性能 分別表征采摘精度 速度 采摘成功率是指機械手在一定的次數內果實成功采收 的概率 采摘時間是指從相機視覺定位開始到成功采 集果實放置到采集筐并開始下一次視覺定位時的總 時間 如圖22所示 采摘過程中有4個狀態(tài) Home為初始 狀態(tài) 在識別到果實后機械臂切換狀態(tài) 進入靠近果實 狀態(tài) 機械臂運動至目標點 再次識別定位果實位置 進入采摘狀態(tài) 機械臂抓取果實 抓取成功后進入返回 狀態(tài) 機械臂運行至放置點 完成放置任務后機械臂回 到初始狀態(tài) 完成一次循環(huán) 多個果實采摘進行多次 循環(huán) 遇到特殊情況時由狀態(tài)機切換機械臂運行狀態(tài) 將復雜的問題進行分解 方便調試與控制 圖19 底盤軟件功能主要架構 Fig 19 Main structure of chassis software functions 圖20 上位機控制界面 Fig 20 Upper computer control interface 圖21 番茄采摘機器人樣機 Fig 21 Tomato picking robot prototype 26 增刊1 王亞薇 等 溫室番茄采摘機器人伸縮式機械臂設計與試驗 3 2 采摘試驗結果與分析 機械臂運動流程包括接近目標 抓取果實 扭轉采 摘 移至收集點 打開夾爪 移至等待點等流程 以采摘 第1個番茄目標為例 機械臂需要進行初始化位置來規(guī)范 機械臂的后續(xù)控制 當機械臂