日光溫室番茄采摘機器人設計.pdf

農(nóng)業(yè)機械學報 Transactions of the Chinese Society for Agricultural Machinery ISSN 1000 1298 CN 11 1964 S 農(nóng)業(yè)機械學報 網(wǎng)絡首發(fā)論文 題目 日光溫室番茄采摘機器人設計 作者 于豐華 周傳琦 楊鑫 郭忠輝 陳春玲 收稿日期 2021 07 21 網(wǎng)絡首發(fā)日期 2021 10 28 引用格式 于豐華 周傳琦 楊鑫 郭忠輝 陳春玲 日光溫室番茄采摘機器人設計 J OL 農(nóng)業(yè)機械學報 網(wǎng)絡首發(fā) 在編輯部工作流程中 稿件從錄用到出版要經(jīng)歷錄用定稿 排版定稿 整期匯編定稿等階 段 錄用定稿指內容已經(jīng)確定 且通過同行評議 主編終審同意刊用的稿件 排版定稿指錄用定稿按照期 刊特定版式 包括網(wǎng)絡呈現(xiàn)版式 排版后的稿件 可暫不確定出版年 卷 期和頁碼 整期匯編定稿指出 版年 卷 期 頁碼均已確定的印刷或數(shù)字出版的整期匯編稿件 錄用定稿網(wǎng)絡首發(fā)稿件內容必須符合 出 版管理條例 和 期刊出版管理規(guī)定 的有關規(guī)定 學術研究成果具有創(chuàng)新性 科學性和先進性 符合編 輯部對刊文的錄用要求 不存在學術不端行為及其他侵權行為 稿件內容應基本符合國家有關書刊編輯 出版的技術標準 正確使用和統(tǒng)一規(guī)范語言文字 符號 數(shù)字 外文字母 法定計量單位及地圖標注等 為確保錄用定稿網(wǎng)絡首發(fā)的嚴肅性 錄用定稿一經(jīng)發(fā)布 不得修改論文題目 作者 機構名稱和學術內容 只可基于編輯規(guī)范進行少量文字的修改 出版確認 紙質期刊編輯部通過與 中國學術期刊 光盤版 電子雜志社有限公司簽約 在 中國 學術期刊 網(wǎng)絡版 出版?zhèn)鞑テ脚_上創(chuàng)辦與紙質期刊內容一致的網(wǎng)絡版 以單篇或整期出版形式 在印刷 出版之前刊發(fā)論文的錄用定稿 排版定稿 整期匯編定稿 因為 中國學術期刊 網(wǎng)絡版 是國家新聞出 版廣電總局批準的網(wǎng)絡連續(xù)型出版物 ISSN 2096 4188 CN 11 6037 Z 所以簽約期刊的網(wǎng)絡版上網(wǎng)絡首 發(fā)論文視為正式出版 收稿日期 2021 07 21修回日期 2021 09 25 基金項目 科技部重點研發(fā)計劃政府間合作項目 2019YFE0197700 作者簡介 于豐華 1989 男 沈陽農(nóng)業(yè)大學講師 博士 主要從事智慧農(nóng)業(yè)研究 E mail adan 通信作者 陳春玲 1971 女 沈陽農(nóng)業(yè)大學教授 博士 主要從事智慧農(nóng)業(yè)研究 E mail chenchunling 日光溫室番茄采摘機器人設計 于豐華 1 2 周傳琦 1 楊鑫 1 郭忠輝 1 陳春玲 1 2 1 沈陽農(nóng)業(yè)大學信息與電氣工程學院 沈陽 110866 2 遼寧省農(nóng)業(yè)信息化工程技術 研究 中心 沈陽 110866 摘 要 針對 目前 日光溫室中 番茄 采摘 主要靠人工 費 力 費時 的問題 設計 并制作了 一 種 可以應用于 日光溫室 的番茄采摘 機器人 該機器人能夠在 大棚壟道間巡檢并 自動識別 成熟 番茄 并 完成采摘 收集 本設計 以 STM32微控制器為 主 控制器 使用麥克納姆輪全向移動平臺作為 機器人 的 移動 底盤 采用由 Raspberry Pi 4B控制器驅動的深度相機 作為成熟番茄的識別裝 置 底盤上平臺安裝風力補償風機 可水平滑動的 6 自由度機械臂 機械臂搭載了附有薄膜壓力傳感器的柔性手爪 整個上 平臺由安裝在底盤下平臺的垂直升降機 構驅動 滑動機構和升降機構均配有測距傳感器 通過 Raspberry Pi 4B所驅動 的攝像 頭 識別與捕捉 再 通過串行總線將成熟番茄的坐標數(shù)據(jù)傳輸至 STM32 控制器 STM32 控制器通過機械臂逆運動學分析驅動 機械臂 滑軌與升降平臺的聯(lián)合動作 配合機械臂末端關節(jié) 動作 即可 實現(xiàn)番茄采摘 底盤 配合 OpenMV巡線攝像頭識別地 面預 先制作好的定位線 即可實現(xiàn)在大棚內不間斷巡檢與采摘成熟番茄 關鍵詞 日光 溫室 番茄 采摘機器人 機械臂 R FCN目標檢測網(wǎng)絡 移動小車 中圖分類號 S225 93 文獻標識碼 A OSID Design of Tomato Picking Robot in Solar Greenhouse YU Fenghua1 2 ZHOU Chuanqi1 YANG Xin1 GUO Zhonghui1 CHEN Chunling1 2 1 College of Information and Electrical Engineering Shenyang Agricultural University Shenyang 110866 China 2 Liaoning Agricultural Information Engineering Technology Research Center Shenyang 110866 China Abstract With the popularization and development of solar greenhouse in recent years more and more crops began to be planted in solar greenhouse At present in the greenhouse garden picking tomatoes mainly relys on fruit farmers to complete manually which not only consumes a lot of manpower but also wastes a lot of time Taking tomato as an example a tomato picking robot was designed which can be applied to solar greenhouse garden patrol between greenhouse and ridge road and automatically identify ripe tomato in real time and complete picking and collecting after identifying successful tomato STM32 microcontroller was the main core of this design The Mecanum wheel omni directional mobile platform was used as the mobile chassis of the robot and the depth camera driven by Raspberry Pi 4B controller was used as the recognition device of mature tomatoes The platform on the chassis was equipped with a wind compensation fan and a 6 DOF horizontal sliding mechanical arm The arm was equipped with a flexible grip attached to a thin film pressure sensor The whole upper platform was driven by the vertical lifting structure installed on the platform under the chassis The sliding mechanism and the lifting mechanism were equipped with ranging sensors Through the recognition and capture of the camera driven by Raspberry Pi 4B the coordinate data of the ripe tomato was transmitted to the STM32 controller through the serial bus The STM32 controller drove the joint action of the mechanical arm slide rail and lifting platform through inverse kinematics analysis of the mechanical arm and can pick tomatoes at different heights and depths with the action of the end joint of the mechanical arm The chassis was equipped with OpenMV line patrol camera to recognize the positioning line made in advance on the ground so that continuous inspection and picking of ripe tomatoes in the greenhouse can be realized This work can greatly liberate manpower save a lot of time for fruit farmers and also provide an idea and scheme for tomato picking in closed areas Key words solar greenhouse tomato picking robot robotic arm R FCN target detection network mobile car 網(wǎng)絡首發(fā)時間 2021 10 28 10 16 55 網(wǎng)絡首發(fā)地址 0 引 言 溫室生產(chǎn)在我國被譽為陽光工程 是我國 的 重 點在研項目 也是設施農(nóng)業(yè)的重要組成 部分 1 2 但 設施農(nóng)業(yè)是典型的勞動密集型產(chǎn)業(yè) 即使 在設施農(nóng) 業(yè)領域擁有高度自動化作業(yè)的 發(fā)達國家 其作物 采 摘環(huán)節(jié)仍依賴大量人工來完成 3 4 人工采摘 費時費 力 實現(xiàn) 溫室內部的 自動化采摘 已成為 當下設施農(nóng) 業(yè)發(fā)展的主要 需求 隨著電子信息技術 人工智能技術 圖像識別 技術的逐漸成熟 日本 荷蘭 英國 法國 美國 等 從上世紀 80年代中期 就 開展了 采摘機器人 研究 采 摘對象包括 蘋果 蘆筍 草莓 葡萄 甘藍 黃瓜 番茄 蘑菇等 5 8 而 我國 對于農(nóng)業(yè)采摘機器人的研究較晚 且目 前仍處于起步階段 9 王順溈 等 10 設計了一款通過 震動使果梗分離 通過 仿雨傘機構收集 果實 的 采摘 機械臂 但此機械臂會由于果梗柔韌性過大而發(fā)生 漏采現(xiàn)象 且在收集過程中無法避免果實間的碰撞 這將嚴重影響采摘覆蓋率與果實品質 馬廷輝 11 設 計了 四 自由度機械手 采用空間坐標轉換進行運動 學分析 實現(xiàn)了強適應能力草莓采摘機器人的研制 但自由度 限制 了 機械臂靈活度 12 邵堃 13 通過將 采 摘機器人的 機械臂擴展到五自由度 在 9 個不同高 度和不同方向的 目 標點 采摘 中 最大距離偏差僅為 6 71mm 但其采用的履帶式底盤由于 行駛速度慢 需要 大量的轉向空間 等問題 無法在日光溫室內運 行 此外 湯亞東 14 通過雙目視覺 機械臂運動仿 真等構建了番茄采摘機器人樣機 并完成了復雜環(huán) 境下的番茄采摘測試 但因其剛性抓手的使用導致 無傷采摘成功率僅為 76 3 王曉楠等 15 通過使用 真空吸附裝置 柔性氣囊裝置 旋擰電機等 實現(xiàn)了 番茄的無 傷采摘 但是 由于枝干 葉片等會對識別 系統(tǒng)產(chǎn)生干擾 從而導致機器人的采摘精準度 下降 劉芳等 16 改進型多尺度 YOLO 算法 從不同 角度 不同 光照 強度 等環(huán)境下 對番茄 進行訓練識別 朱明 秀 17 基于 K means聚類算法 配合卷積神經(jīng)網(wǎng)絡與 雙目視覺技術 實現(xiàn)了采摘機器人的水果檢測與定 位 胡慧明 18 使用雙目視覺技術 為采摘機器人獲 取了果蔬的三維坐標 為 溫 室環(huán)境下的果蔬機器人 采摘奠定了基礎 本研究以北方日光溫室 中 的番茄為 采摘對象 設計并制作 一款適用于 日光溫室 可以 巡檢并 識別 采摘成熟番茄果實的移動機器人 1 采摘 機器人 系統(tǒng) 功能 設計 采摘機器人系統(tǒng)分為 底盤四輪驅動系統(tǒng) 采摘 系統(tǒng) 可升降 平臺系統(tǒng) 圖像識別系統(tǒng) 和風機系統(tǒng) 其中底盤驅動系統(tǒng)包括四顆麥克納姆輪及其驅動電 機 底盤懸掛結構和 底部巡線攝像頭等 采摘系統(tǒng) 包括柔性 手爪 和 滑軌型 機械臂 可升降上平臺系統(tǒng) 包括驅動電機及上平臺鋁板 并 附有 機械臂滑軌和 圖像識別系統(tǒng) 風機系統(tǒng)等 安裝支架 目前 日光溫室 內 機器人 常用的 作業(yè)方式有 地面自由移動式 懸掛導軌移動式 地面導軌移動 式 等 鑒于 日光溫室 需要 對光能 的 直接 性 利 用 19 安裝 懸掛 導軌會占用 大量 日光 溫室內的上層 空間 這將嚴重影響日光溫室的 透光率 導致對光能利用 率下降 地面導軌 的安裝 占用溫室 內 大量 種植 面積 影響土地利用率 且 不利于 后期大棚改造升級 故 本研究 采用了麥克納姆輪地面 導軌 移動式機器人 作 業(yè)方式 麥克納姆輪 四驅移動平 臺相對于傳統(tǒng)轉向 機構移動平臺更加靈活 通過控制各個輪系的轉速 和方向即可組合出任意方向的移動 21 可以 在狹窄 的 溫室 內不改變自身狀態(tài)完成采摘任務 日光溫室內的番茄主要采用 架棚 作床 20 的培 育模式 列式分布 垂直生長種植方式 番茄果實縱 向生長于植株上 故底盤的設計綜合考慮了以上因 素 采用 擺式懸掛結構 此結構可以增加機器人的 地形適應能力 保證機器人行駛時底盤的貼地性 提升了行駛時底盤的穩(wěn)定性與控制精確度 22 日光 溫室番茄栽培模式如圖 1所示 圖 1 番茄栽培模式 Fig 1 Patterns of tomato cultivation 采摘機器人工作時 機械爪的作用是抓緊果實 以便進行果梗分離 23 24 考慮到 成熟 番茄 果實 表皮 的力學特性 25 機器人 采摘機構 采用 柔性手 爪 柔 性 手 爪 由 注塑工藝 的橡膠材質 制作 該柔性 手 爪采 用三指抓取 由 42步進電機 驅動 手 爪 動作部分 長 農(nóng) 業(yè) 機 械 學 報 95mm 夾取直徑為 10 120mm 抓取頻率 小于 40次 min 相鄰兩指 可動 間距 1長 8 100mm 柔性 手 爪 總長 2為 152 5mm 驅動器安裝部分 高度 3為 40mm 其結構圖 如 圖 2所示 圖 2 柔性手爪 結構圖 Fig 2 Structure diagram of flexible gripper 圖 3 柔性手爪實物圖 Fig 3 Physical picture of flexible gripper 1 薄膜壓力傳感器 2 抓手柔性手指 3 抓手驅動電機 此外 在抓手的內壁還 貼 有 如 圖 3 所示的 薄膜 壓力傳感器 控制器可以 通過 與之連接的 AD 轉換 電路 26 獲得 抓手內部的壓力數(shù)據(jù) 進一步精準 控制 番茄的采摘力度 從而 防止番茄因發(fā)生機械損傷而 導致的皺縮 品質降低 快速腐爛 27 等 薄膜壓力 傳感器的響應時間 小于 1ms 形變恢復時間 小于 15ms 可以工作在 20 60 的環(huán)境 中 測試中隨機 讀取 25 次柔性 手 爪 采摘番茄時 的壓力傳感器數(shù)據(jù) 繪制 曲線如 圖 4所示 為了使機械臂摘取番茄的更為靈活 28 支 撐 手 爪 的機械臂 采用 6 自由度 設計 其中單個 關節(jié) 舵機 在 8 4V標準工作電壓下 的 扭力為 52kg cm 機械臂 底座直徑 1為 110mm 底座 高 2為 81 5mm 機械臂 第 1 段關節(jié) 長 3為 105mm 第 2 段關節(jié) 長 4為 77 5mm 第 3段關節(jié) 長 5 為 58mm 整體活動半徑 為 513mm 且 經(jīng) 過 分析與討論黃國偉等 29 關于 番茄 果實與莖稈分離力的研究 確定了旋擰摘下的采摘 方案 并 設計了可以連續(xù)旋轉 180 的 末端關節(jié) 由 此 在采摘動作方案的設計時便可使機械手在 0 時深入番茄植株中 在抓取穩(wěn)定后的 0 8s內 末端 關節(jié)快速旋轉 180 使 番茄 梗 與莖稈 呈 遠離 90 角 的方向 受力 以 實現(xiàn)使用 最小的力 使 果實與莖稈 分離 手爪采摘示意圖 如 圖 5所示 圖 4 采摘番茄的手爪壓力變化曲線 Fig 4 Claw pressure change curve for picking tomatoes 圖 5 采摘示意圖 Fig 5 Picking diagram 1 柔性手爪 2 番茄 3 番茄果梗 4 手爪旋轉方向 生長 過程 中 番茄 果實位置并 不 固定 成熟番 茄果實 容易 被四周枝葉所遮擋 導致 攝像頭無法準 確判斷甚至無法識別出成熟的番茄 因此 在上平 臺添加了帶有 二自由度云臺的風力補償裝置 其裝 置結構簡圖如 圖 6a所示 當機器人在壟道間巡檢過 程中 風力裝置 向著機器人的預識別區(qū)域吹風 枝 葉被吹開后 即可使枝葉后面的成熟果實暴露于攝 像頭視角下 實現(xiàn)被遮擋果實的識別 于豐華 等 日光溫室番茄采摘機器人研制 考慮到番茄并不是處于固定高度 故設計時采 用 Z 軸 垂直于地平面的方向 升降結構 升降結 構采用絲桿控制 通過電機 轉動帶動上平臺的升降 即可實現(xiàn)對不同高度番茄的采摘 且 相 對 于機器人 番茄生長的深度 番茄果實距離壟間 中 線的投影 不同 故在機器人上平臺上安裝一 由絲桿控制 的 可 水平移動的 X軸 水平面內垂直于機器人行進 方向 滑軌 結構 控制器通過 深度相機等傳感器獲取 的番 茄深度數(shù)據(jù)后 將自身坐標與機械臂坐標 通過 式中 機器人視覺坐標 系 視覺坐標 系 與機械臂坐標 系轉換 關系 機器人機械臂坐標 系 換算 計算 得出 相較于絲桿平臺中心位置的番茄深 度數(shù)據(jù) 通過 絲桿驅動 電機與測距傳感器負反饋調 節(jié)的配合 使 機械臂運動到 正確的 位置后 手 爪 再 深入抓取番茄果實 Z 軸 X 軸 驅動 結構簡圖如 圖 6a b所示 其中 X軸 Z軸結構 設計 參數(shù)如表 1所 示 表 1 底盤升降平臺 結構硬件參數(shù) Table 1 Hardware parameters of chassis lifting platform structure 參數(shù) 數(shù)值 X軸 長度 mm 580 X軸滑軌移速 mm s 1 18 X軸 絲桿直徑 mm 8 X軸 電機扭矩 N m 1 0 31 Z軸長度 mm 970 Z軸升降 速度 mm s 1 36 Z軸絲桿直徑 mm 12 Z軸電機扭矩 N m 1 2 3 a 上平臺裝置分布圖 b Z軸升降結構簡圖 c 整體實物圖 圖 6 番茄采摘機器人 Fig 6 Picture of a tomato picking robot 1 滑塊 2 測距傳感器 3 機械臂底座 4 15 26 機械臂 5 23 果籃 6 攝像頭支架 7 28 攝像頭 8 絲桿 9 18 步進電機 10 風扇 11 機器人底盤上平臺 12 二自由度云臺 13 機器人底盤下平臺 14 機器人底盤上平臺 16 絲桿 17 車輪 19 測距傳感器 20 麥克納姆輪 21 擺式懸掛地盤 22 上平臺 24 水平導軌 25 風機 27 柔性 手 爪 29 升降 驅動軸 30 巡線相機 2 采摘機器人系統(tǒng) 軟 件 設計 手 眼 協(xié)調是體現(xiàn)果蔬采摘機器人自主采摘作 業(yè)的關鍵 30 根據(jù)相機的安裝位置 機器人視覺系 統(tǒng)可分為 Eye to Hand型和 Eye in Hand型 31 其中 Eye to Hand 型 是將相機安裝在機器人本體以外的 某個地方 并 固定不動 Eye in Hand型則 是將相機 固定在機器人手臂上 并隨機器人手臂一起運動 32 溫室大棚高度限制 番茄植株的垂直生長方向 番 茄果實相對過小等成為限制 Eye to Hand 型在溫室 內作業(yè)的主要因素 在考慮 Eye in Hand型 時 由 于 機械臂處于運動狀態(tài) 這就導致攝像頭的位置也在 實時變化 這樣 系統(tǒng)的運算量 就會 十分 巨大 而 單 片機等微 控制器 并不能 滿足系統(tǒng)實時控制的 需求 綜上 最終決定將相機放置于可升降上平臺并固定 這樣在 如 圖 7b所示 上平臺的 笛卡爾坐標系下 設 坐 標系 XYZ 的原點 為 0 0 0 機械臂坐標系 原點 為 相機 坐 標 系 原點 為 設偏移矩陣 農(nóng) 業(yè) 機 械 學 報 T 則 1 且易知 2 式中 偏移矩陣中 相機 坐標原點與 機械 臂坐 標 原點在 圖 7aX軸 方向 的距離差值 偏移矩陣 中 相機 坐標原點與 機械 臂坐標 原點在 圖 7aY軸 方向的距離差值 偏移矩陣中 相機 坐標原點與 機械 臂坐標 原點在 圖 7aZ軸方向的距離差值 實際測量 相機 坐標原點與 機械臂 坐標 原點在 圖 7aX方向的距離差值 實際測量 相機 坐標原點與 小車 原 點在 圖 7aZ方向的距離差值 實際測量 相機 坐標原點與機械臂 坐標原點在 圖 7aY方向的距離差值 實際測量 小車 原點與 運動中的 機 械臂坐標原點在 圖 7aZ方向的距離差值 a 機械臂與攝像頭位置示意圖 圖 a Schematic diagram of the position of the robotic arm and the camera b 整體坐標系系示意圖 b Schematic diagram of the global coordinate system 圖 7 上平臺坐標系示意圖 Fig 7 Schematic diagram of the upper platform coordinate system 1 機械 手 爪 2 風機 3 二自由度云臺 4 水平導軌 5 可升降上平臺 6 攝像頭 采用 圖漾 FM810 HD 型 深度相機 配合 Raspberry Pi 4B 使用 此 外 在相機和機器人上平 臺連接處采用 減震球連接 這樣可以使相機在 底 盤 遇到震動時保持平穩(wěn) 減少番茄位置信息的誤報 提升采摘準確度 攝像頭 擺放位置如 圖 6a所示 番茄識別主要由基于 RGB 圖像的目標檢測以 及 圖像 數(shù)據(jù) 處理 兩部分構成 獲取到的 RGB圖像經(jīng) 過 R FCN目標檢測網(wǎng)絡 計算出番茄所在的矩形框 然后將深度信息與目標檢測產(chǎn)生 的二維信息融合 最終計算出番茄的點云中心位置 整體算法流程圖 如 圖 8所示 圖 8 圖像算法流程圖 Fig 8 Flowchart of image algorithm R FCN卷積神經(jīng)網(wǎng)絡主要由 網(wǎng)絡 卷積神經(jīng)網(wǎng)絡 ResNet101 RPN 網(wǎng)絡 ROI pooling 層以及最后的 投票決策層 構 成 其結構如圖 9 所示 圖像 輸入之 后 經(jīng)過卷積層 ResNet進行特征提取后 傳 給區(qū)域建 議網(wǎng)絡 RPN 經(jīng)過計算之后生成候選區(qū) 將候選區(qū) 加入位置特征 之后進入池化層和分類層 從而得 于豐華 等 日光溫室番茄采摘機器人研制 到番茄的具體位置 R FCN算法主要采用 ResNet網(wǎng) 絡和 RPN區(qū)域建議網(wǎng)絡來進行訓練 ResNet的具體 結構如表 2所示 RPN區(qū)域建議網(wǎng)絡的結構為一個 3 3的卷積核 邊界填充 為 1 滑動步長 為 1的 512 個卷積核組成的卷積層 R FCN處理速度 在大量實 驗中相比 FasterRCNN更快 33 35 圖 9 R FCN卷積神經(jīng)網(wǎng)絡結構圖 Fig 9 Structure diagram of R FCN convolutional neural network 表 2 ResNet結構參數(shù) Table 2 ResNet structure parameters 卷積層 輸出尺寸 卷積層 卷積層 卷積層 卷積層 卷積層 conv1 112 112 7 7 64 步長 2 conv2 x 56 56 3 3 池化層 步長 2 3 3 643 3 64 2 3 3 643 3 64 3 1 1 64 3 3 64 1 1 256 3 1 1 64 3 3 64 1 1 256 3 1 1 64 3 3 64 1 1 256 3 conv3 x 28 28 3 3 1283 3 128 2 3 3 1283 3 128 4 1 1 128 3 3 128 1 1 512 4 1 1 128 3 3 128 1 1 512 4 1 1 128 3 3 128 1 1 512 8 conv4 x 14 14 3 3 2563 3 256 2 3 3 2563 3 256 6 1 1 256 3 3 256 1 1 1024 6 1 1 256 3 3 256 1 1 1024 23 1 1 256 3 3 256 1 1 1024 36 conv5 x 7 7 3 3 5123 3 512 2 3 3 5123 3 512 3 1 1 512 3 3 512 1 1 2048 3 1 1 128 3 3 128 1 1 2048 3 1 1 512 3 3 512 1 1 2048 3 1 1 均值采樣 1000個分類的全連接層 浮點運算次數(shù) s 1 8 109 3 6 109 3 8 109 7 6 109 11 3 109 首 先將預先拍攝好的番茄 圖像 標注后 按 4 1分為 訓練集 與 測試集 輸入 R FNC目標檢測網(wǎng)絡 訓練模型 并 轉化為 NCNN 騰訊開源的移動端神 經(jīng)網(wǎng)絡模型 輕量級神經(jīng)網(wǎng)絡框架 部署在 Raspberry Pi 4B中 通過雙目紅外 RGBD深度 相機 獲取圖像 以相機為坐標系構建點云地圖 將三維 點云信息經(jīng)過多平面分割 聚類等算法過濾 在將 三維點云信息反投影到二維坐標 并與檢測到 的 番 茄關鍵幀對應 的 二維信息匹配 從而得到目標番茄 對應的三維包圍框 計算三維包圍框的中心 作為 番茄的中心點 圖 10為番茄識別結果 圖 10 番茄識別結果圖 Fig 10 Graph of tomato identification results 傳統(tǒng)的采摘機器人 多自由度 機械臂運動采用 微 分插補法 36 坐標逆運動學分析 37 等 通過攝像頭 等傳感器得到目標的坐標 朝向角等信息 控制器 通過 采集到的 數(shù)據(jù)解算 出各個關節(jié)的轉角 再通過 控制器 的 脈寬調制 技術 產(chǎn)生 控制信號驅動 機械臂 旋 轉 把 末端執(zhí)行器 以正確的角度送達指定位置 以完 成采摘任務 但是由于番茄等作物的生長方式較為 農(nóng) 業(yè) 機 械 學 報 固定 即由于重力作用 均向地心方向生長 所以 如 圖 11 所示的機械臂模型的末端執(zhí)行器所連接的關 節(jié) DE 始終保持與地面平行即可 即末端執(zhí)行器傾 角 始終為 0 則機械臂進行逆運動學分析的過程 中 便可直接作為已知條件帶入 大大減輕了控制器 的運算強度 此 外 由于考慮到機械臂過長 關節(jié) B 所承受力的問題 系統(tǒng)在設計過程中將 BC 臂與水 平面的夾角 3固定為 45 其他 關節(jié) 不做限制 經(jīng) 過理論分析滿足 3 cos 3 4 cos 3 4 5 cos 3 4 5 2 2 3 式中 上平臺滑軌可移動距離 大棚內供機器人行駛的壟間距 3 機械臂第 1段關節(jié) 長度 4 機械臂 第 2段關節(jié) 長度 5 機械臂 第 3段關節(jié)長 度 2 柔性 手 爪 總長 度 3 機械臂第 1段 關節(jié) 與水平面夾角 4 機械臂第 2段 關節(jié) 與第 1段 關節(jié) 夾角 5 機械臂第 3段 關節(jié) 與第 2段 關節(jié) 夾角 圖 11 采摘機械臂關節(jié)結構簡圖 Fig 11 Schematic diagram of the joint structure of the picking manipulator 在 3與 都已知的情況下 對于 執(zhí)行器 將 運動 到 的番茄 目標點 坐標信息 通過機械臂 逆運動學解算 分析與化簡 將番茄相對于機械臂 原 點 的高度 信 息 分 為 如下 4 個 階 段 1 3sin 3 4cos 3 4 3sin 3 4cos 3 2 3sin 3 4cos 3 5 3sin 3 4cos 3 3 3sin 3 4 6 3sin 3 4 4 7 由此 得 番茄果實 在不同高度 段下的 深度信息 為 3cos 3 4sin 3 5 1 3 4 cos 3 5 2 3cos 3 4cos 3 4 5 3 3cos 3 5 4 8 機械臂各關節(jié)轉角 為 4 90 1 135 180 arccos 3 sin 3 4 2 45 180 arccos 3 sin 3 4 3 45 4 9 5 45 1 90 4 2 4 3 3 90 4 10 且易知 機械手末端坐標即為番茄坐標 故 Arm tmo 11 Arm tmo 12 最終將機械臂逆運動學計算過程與式 1 2 式 4 12 寫入控制器中 機器人即可 根據(jù)攝像頭識 別到的番茄坐標信息 完成采摘動作 3 實驗結果與分析 3 1 實驗方法 實驗于 2021 年 4 月 在沈陽農(nóng)業(yè)大學后山科研 基地 21 22號 日光溫室中 進行 溫室 長 60m 寬 10m 溫室內種植 28 行番茄 行與行壟間距 1 2m 番茄 植株平均高度 1 9m 番茄在植株上的分布范圍為 0 6 1 5m 壟道間鋪有防止土壤 水分蒸發(fā)的塑料布 首先將 溫室 地面鋪設 成 如 圖 12所示 效果 將機 器人放置于正確位置 將果蔬收集 筐 置于 機器人上 平臺后 系統(tǒng)開機運行 機器人 巡檢 過程中記錄每次 采摘狀態(tài) 采摘效 果等 在單次測試完成后導出 每次 相機 識別坐標與 機械臂關節(jié)運動角度等 隨機抽取當天所采番茄約 20顆 在室內 無光照 約 26 環(huán)境下觀察其表皮 褐變情況與果實腐爛 程度 并與人工采摘番茄 對比 現(xiàn)場 實驗 圖如 圖 13所示 圖 12 溫室 內定位膠帶布線效果圖 Fig 12 The effect diagram of positioning tape wiring in the greenhouse 1 番茄種植區(qū) 2 機器人行駛區(qū) 3 定位線 4 機器人 5 日光溫室 圖 13 現(xiàn)場實驗圖 Fig 13 Field experiment diagram 1 果籃 2 升降平臺 3 滑軌 4 定位線 5 風機 6 攝像頭 7 機械臂 8 柔性 手 爪 3 2 實驗結果 番茄采摘機器人 實驗 數(shù)據(jù)如表 3 所示 控制器 芯片導出數(shù)據(jù)經(jīng)整理 得 采摘 過程 部分 坐標信息如表 4 所示 經(jīng) 1 4 周觀察 與統(tǒng)計 番茄 的表皮褐變與 腐爛情況如表 5所示 對表內數(shù)據(jù)進行分析 綜上所述 通過機器與人工采摘果實質量對比 可 知 采摘機器人在一定程度上不會 對果實產(chǎn)生較 大 損傷 其產(chǎn)生 的損傷 也在可接受范圍內 此外 盡 管機械 手 爪 與 定位 坐標僅有 2cm以內的誤差 但是 在測試過程中如圖 14a 所示的采摘偏差仍不可 忽略 圖 14b所示 未完全采摘 狀況也 尚未 解決 a 存在誤差的采摘 情況 b 未 完全采摘 圖 14 不良 采摘狀況 Fig 14 Bad picking condition 1 手 爪 2 果梗 表 3 機器人采摘效果數(shù)據(jù) Table 3 Data sheet of robot picking effect 參數(shù) 數(shù) 值 成功識別的成熟番茄數(shù)量 412 未能成功識別的成熟番茄 數(shù)量 34 風力補償裝置輔助后識別 的番茄數(shù)量 12 未成熟番茄的誤識別數(shù)量 0 機械臂預采摘成熟番茄數(shù)量 408 農(nóng) 業(yè) 機 械 學 報 成熟番茄一次采摘成功的數(shù)量 352 成熟番茄二次采摘成功的數(shù)量 392 表 4 采摘過程信息 數(shù)據(jù)表 Table 4 Picking process information data sheet 相機視角番茄坐標 mm 手 爪 坐標 mm X軸絲桿移動距離 mm 3 837 296 0 786 58 226 0 541 371 0 575 117 241 4 461 373 0 508 74 287 2 945 432 0 916 149 277 4 752 426 0 695 145 267 1 605 335 0 671 87 260 1 390 453 0 375 152 312 2 466 290 0 484 64 234 4 660 395 0 686 152 258 2 582 347 0 571 77 286 2 767 347 0 852 72 292 1 632 402 0 643 148 265 1 608 416 0 717 114 291 3 711 461 0 701 171 278 2 928 452 0 967 184 253 4 947 393 0 901 90 319 3 911 353 0 843 83 277 2 911 418 0 933 179 232 1 425 469 0 521 158 317 3 881 379 0 925 154 231 4 584 423 0 679 127 284 2 302 415 0 379 119 311 4 882 385 0 786 162 216 2 585 341 0 677 91 239 3 418 414 0 396 127 301 表 5 番茄 狀態(tài)數(shù)據(jù) Table 5 Pomodoro state data sheet 指標 手工采摘 機器采摘 3d表皮褐變數(shù)量 采摘 總數(shù)量 0 5 0 25 3d腐爛數(shù)量 采摘 總數(shù)量 0 5 1 25 5d表皮褐變數(shù)量 采摘 總數(shù)量 2 5 8 25 5d腐爛數(shù)量 采摘 總數(shù)量 1 5 4 25 7d表皮褐變數(shù)量 采摘 總數(shù)量 5 5 25 25 7d腐爛數(shù)量 采摘 總數(shù)量 3 5 18 25 10d表皮褐變數(shù)量 采摘 總數(shù)量 5 5 25 25 10d腐爛數(shù)量 采摘 總數(shù)量 4 5 22 25 3 3 誤差分析 經(jīng)分析可知 系統(tǒng)誤差主要 來源于攝像頭所在上 平面未 與地面保持水平 導致攝像頭與 機械臂的坐 標系與真實環(huán)境坐標系具有一定的旋轉角度差異 從而導致采摘 誤差 此外 由于預先設計機械臂時 沒有考慮到結構強度與彈性形變 導致 機器人工作 一段時間后 機械臂第 2 關節(jié)發(fā)生了形變 從而導 致了采摘不精準 還有 部分番茄 果梗 韌性較大 機 械 手 爪 旋轉不足以將其摘下 從而導致了采摘成功 率較低 4 結論 1 設計并制作了一種可以在 日光溫室 內自動巡檢 于豐華 等 日光溫室番茄采摘機器人研制 并 采摘成熟番茄果實的移動機器人 機器人 采用 貼 有薄膜壓力傳感器的 柔性機械 手 爪 2 在手眼坐標系始終相同的前提下 進行機械臂逆 解 定位 控制的實時性得到了有效的提高 風力補 償裝置 對提高被枝葉遮擋番茄的識別 有 積極 作用 參 考 文 獻 1 孫娜娜 我國北方蔬菜溫室生產(chǎn)發(fā)展中的問題 J 江西農(nóng) 業(yè) 2016 21 63 SUN Nana Problems in the development of vegetable greenhouse production in North China J Jiangxi Agriculture 2016 21 63 in Chinese 2 彭澎 梁龍 李海龍 等 我國設施農(nóng)業(yè)現(xiàn)狀 問題與發(fā)展建議 J 北方園藝 2019 4 5 161 168 PENG Peng LIANG Long LI Hailong et al Current situation problems and development suggestions of facility agriculture in China J Northern Horticulture 2019 4 5 161 168 3 劉