設(shè)施番茄采摘機(jī)器人識(shí)別定位與采摘方法研究_雷志龍.pdf

年 月農(nóng)業(yè)機(jī)械學(xué)報(bào)第 卷第 期 設(shè)施番茄采摘機(jī)器人識(shí)別定位與采摘方法研究 雷志龍 劉 暢 王 權(quán) 江蘇大學(xué)機(jī)械工程學(xué)院 鎮(zhèn)江 江蘇大學(xué)農(nóng)業(yè)工程部 鎮(zhèn)江 摘要 番茄是設(shè)施農(nóng)業(yè)中種植面積較大的農(nóng)作物之一 在農(nóng)業(yè)生產(chǎn)勞動(dòng)力緊缺的背景下 實(shí)現(xiàn)其自動(dòng)化采摘具有重 要意義 針對(duì)設(shè)施單果番茄采摘的需求 設(shè)計(jì)了一款設(shè)施番茄智能采摘平臺(tái) 主要由升降機(jī)構(gòu) 采摘機(jī)構(gòu) 識(shí)別與 定位系統(tǒng)等部分組成 平臺(tái)整體結(jié)構(gòu)由低壓一體化伺服滾珠絲杠副升降機(jī)構(gòu) 六軸協(xié)作機(jī)械臂和力控末端執(zhí)行器 組成 實(shí)現(xiàn)了自動(dòng)化 精確高效的采摘作業(yè) 基于改進(jìn) 融合算法來(lái)識(shí)別檢測(cè) 通過(guò)對(duì) 分量進(jìn)行圖 像閾值分割 提高了對(duì)成熟目標(biāo)果實(shí)識(shí)別的準(zhǔn)確率 有效排除未成熟番茄和枝葉背景的干擾 通過(guò)眼在手外的標(biāo)定 方法 使用 雙目相機(jī)進(jìn)行定位 來(lái)實(shí)時(shí)獲取目標(biāo)果實(shí)在機(jī)械臂基坐標(biāo)系下的空間坐標(biāo) 搭建的設(shè)施番茄采摘 機(jī)樣機(jī)平臺(tái)在現(xiàn)場(chǎng)采摘試驗(yàn)中 識(shí)別準(zhǔn)確率達(dá)到 采摘成功率為 單果平均采摘時(shí)間為 結(jié)果表明 融合算法能夠減少對(duì)番茄的識(shí)別誤差 使用眼在手外算法計(jì)算出轉(zhuǎn)換矩陣 實(shí)現(xiàn)對(duì)目標(biāo) 果實(shí)準(zhǔn)確識(shí)別與定位 設(shè)施番茄智能采摘裝置的識(shí)別定位和采摘能力滿足實(shí)際工作需求 關(guān)鍵詞 番茄采摘機(jī)器人 結(jié)構(gòu)設(shè)計(jì) 識(shí)別與定位 中圖分類(lèi)號(hào) 文獻(xiàn)標(biāo)識(shí)碼 文章編號(hào) 收稿日期 修回日期 基金項(xiàng)目 江蘇省農(nóng)業(yè)科技自主創(chuàng)新項(xiàng)目 作者簡(jiǎn)介 雷志龍 男 碩士生 主要從事農(nóng)業(yè)采摘機(jī)器人研究 通信作者 王權(quán) 男 教授 博士 主要從事半導(dǎo)體傳感和機(jī)器視覺(jué)等研究 引言 番茄是三大世界性貿(mào)易蔬菜之一 也是設(shè)施農(nóng) 業(yè)種植面積最多的品種之一 目前 在整個(gè)番茄 生產(chǎn)鏈中最耗時(shí) 最費(fèi)力的環(huán)節(jié)為采收環(huán)節(jié) 主要存 在設(shè)施用工難 作業(yè)環(huán)境差 勞動(dòng)強(qiáng)度大等問(wèn)題 因 此投入研發(fā)智能化設(shè)備具有重要意義 設(shè)施番茄智能采摘機(jī)器人融合了導(dǎo)航避障技 術(shù) 視覺(jué)識(shí)別定位技術(shù) 機(jī)械臂控制技術(shù) 柔性末端 執(zhí)行器設(shè)計(jì)技術(shù)以及機(jī)器人控制技術(shù)等多種關(guān)鍵技 術(shù) 番茄采摘機(jī)器人早在 世紀(jì)就被日本團(tuán) 隊(duì)首次研發(fā) 美國(guó) 荷蘭等國(guó)家也在該領(lǐng)域進(jìn)行了深 入研究 我國(guó)起步較晚 國(guó)內(nèi)的研究團(tuán)隊(duì)仍在 不斷探索 馮青春團(tuán)隊(duì) 使用基于顏色特征進(jìn)行閾 值分割等傳統(tǒng)圖像處理方法對(duì)番茄進(jìn)行識(shí)別 梁喜 鳳團(tuán)隊(duì) 通過(guò)建立精確的運(yùn)動(dòng)學(xué)模型和采用先 進(jìn)的軌跡規(guī)劃及控制策略 顯著提高了機(jī)械手的操 作效率和穩(wěn)定性 等 通過(guò)智能感知作物表型 和姿態(tài) 對(duì)番茄串進(jìn)行精準(zhǔn)識(shí)別 并據(jù)此做出自主決 策與收割動(dòng)作 盡管我國(guó)番茄采摘機(jī)器人在部分關(guān)鍵技術(shù)上取 得了重大突破 并能滿足基本的采摘需求 但仍處于 研發(fā)試驗(yàn)階段 尚未廣泛推廣 在機(jī)械臂方面 由于 果實(shí)位置姿態(tài)各異 其靈活性與精準(zhǔn)度不足 難以避 開(kāi)障礙物進(jìn)行采摘 在視覺(jué)識(shí)別方面 傳統(tǒng)圖 像處理識(shí)別技術(shù)魯棒性差 處理時(shí)間長(zhǎng)等缺點(diǎn)也亟 待解決 為了在算力有限的嵌入式設(shè)備上完成目標(biāo)番茄 的識(shí)別定位與采摘 本文設(shè)計(jì)一種設(shè)施番茄采摘平 臺(tái) 包含升降機(jī)構(gòu) 采摘機(jī)構(gòu) 視覺(jué)識(shí)別定位等部分 根據(jù)設(shè)施環(huán)境和番茄生長(zhǎng)特性 采用單桅柱伺服滾 珠絲杠副作為升降機(jī)構(gòu) 機(jī)械臂與特制末端執(zhí)行器 為采摘機(jī)構(gòu) 基于 和 算法融合進(jìn)行識(shí) 別檢測(cè) 并結(jié)合 雙目相機(jī)的采摘機(jī)構(gòu)精準(zhǔn)定位 采摘 以實(shí)現(xiàn)對(duì)目標(biāo)番茄自主識(shí)別定位采摘的功能 總體方案設(shè)計(jì) 目前設(shè)施大棚種植番茄選擇桃夢(mèng)茜優(yōu)質(zhì)番茄品 種 該品種番茄均為單果生長(zhǎng) 具有抗病蟲(chóng) 耐低溫 果實(shí)色澤鮮艷 甜酸適度等優(yōu)點(diǎn) 針對(duì)番茄的生長(zhǎng) 特性和種植環(huán)境復(fù)雜性 開(kāi)展了識(shí)別定位與采摘一 體化的總體方案設(shè)計(jì) 番茄識(shí)別定位與采摘的總體實(shí)現(xiàn)方法如圖 所 示 該技術(shù)路線圖主要圍繞番茄采摘的自動(dòng)化展開(kāi) 首先進(jìn)行硬件結(jié)構(gòu)設(shè)計(jì) 包括升降裝置設(shè)計(jì)以及搭 載平臺(tái)和末端執(zhí)行器設(shè)計(jì) 接著進(jìn)行番茄圖像采集 制作數(shù)據(jù)集并基于 算法模型進(jìn)行識(shí) 別檢測(cè)成熟目標(biāo)番茄 通過(guò)手眼矩陣轉(zhuǎn)換和獲取三 維坐標(biāo)的技術(shù)手段實(shí)現(xiàn)番茄的三維定位 并設(shè)計(jì)驅(qū) 動(dòng)程序以及優(yōu)化視覺(jué)與控制通信機(jī)制 完成這些技 術(shù)準(zhǔn)備后 實(shí)現(xiàn)采摘作業(yè) 并通過(guò)采摘試驗(yàn)和測(cè)試模 型不斷優(yōu)化整個(gè)系統(tǒng) 圖 總體技術(shù)路線圖 采摘機(jī)構(gòu)設(shè)計(jì) 針對(duì)大棚農(nóng)田作業(yè)環(huán)境 考慮番茄藤蔓生長(zhǎng)的 植物特性以及田壟雙排的種植方式 采摘機(jī)器人需 要靈活作業(yè)空間 并且精確完成果實(shí)的采摘任務(wù) 因此 如圖 所示 設(shè)計(jì)了一個(gè)由六軸協(xié)作機(jī)械臂 伺服電控升降機(jī)構(gòu)和柔性末端執(zhí)行器組成的采摘 機(jī)構(gòu) 圖 采摘機(jī)構(gòu)結(jié)構(gòu)示意圖 六軸協(xié)作機(jī)械臂 雙目相機(jī) 升降機(jī)構(gòu) 末端執(zhí) 行器 機(jī)械臂選用六自由度的協(xié)作機(jī)械臂 關(guān)節(jié)靈活 冗余度較高 配備高精度編碼器可為后續(xù)升級(jí)開(kāi)發(fā) 提供基礎(chǔ) 且機(jī)械臂的工控機(jī)較小 便于嵌入式設(shè) 計(jì) 重復(fù)定位精度為 臂展可達(dá) 滿足農(nóng)業(yè)采摘環(huán)境的需求 針對(duì)大棚環(huán)境中番茄采 摘作業(yè)要求 升降平臺(tái)采用電動(dòng)滾珠絲杠副設(shè)計(jì) 具 有運(yùn)行穩(wěn)定和速度易于控制等優(yōu)點(diǎn) 較適合于升降 高度適中和控制精度高的作業(yè)場(chǎng)所 根據(jù)滾珠絲杠 第二十七屆中國(guó)科協(xié)年會(huì)學(xué)術(shù)論文 年 副的導(dǎo)程 最小螺紋底徑和預(yù)期額定動(dòng)載荷來(lái)進(jìn)行 滾珠絲杠副的選型設(shè)計(jì) 考慮升降臺(tái)主要負(fù)載來(lái)源 于機(jī)械臂和末端執(zhí)行器的質(zhì)量 負(fù)載約為 滾 珠絲杠副采用豎直方式安裝 選用 型 一體化低壓伺服電機(jī) 額定功率為 額定轉(zhuǎn)矩 為 最大輸出轉(zhuǎn)矩為 滿足滾珠絲 杠副所需實(shí)際轉(zhuǎn)矩 同時(shí)能夠確保升降平臺(tái)負(fù)載位 置的定位精度 以試驗(yàn)基地品種番茄果實(shí)作為采摘對(duì)象 經(jīng)前 期研究表明 番茄最大橫向直徑為 果實(shí) 質(zhì)量為 在成熟采摘時(shí)容易擠壓損壞 所以設(shè)計(jì)一種如圖 所示的力控夾指式末端執(zhí)行 器 力控末端執(zhí)行器由機(jī)械夾爪 夾爪驅(qū)動(dòng)電機(jī) 紅 外傳感器 末端襯套等部分組成 圖 末端執(zhí)行器結(jié)構(gòu)示意圖 機(jī)械夾爪 紅外傳感器 限位開(kāi)關(guān) 驅(qū)動(dòng)電機(jī) 經(jīng)過(guò)統(tǒng)計(jì)計(jì)算 番茄形狀為寬高比為 的球形 柔性?shī)A爪最大張開(kāi)寬度約為 當(dāng)夾 持深度和高度偏高或者偏低時(shí) 采摘番茄可能會(huì)出 現(xiàn)滑落或者夾持不穩(wěn)的情況 考慮番茄最大橫向直 徑一般小于 故而夾具若是成功包裹番茄并 采摘 最大容許定位誤差需要滿足 軸和 軸誤差 小于 軸誤差小于 為減少對(duì)番茄的損傷 如圖 所示在末端執(zhí)行 器內(nèi)側(cè)安裝硅膠襯套 硅膠襯套能夠在夾爪抓取番 茄時(shí)起到緩沖作用 避免劃傷番茄 同時(shí)將紅外傳感 器安裝在末端執(zhí)行器上 用于控制夾爪的夾持范圍 通過(guò)實(shí)時(shí)檢測(cè)夾爪是否超過(guò)限位 確保夾爪能夠準(zhǔn) 確夾持番茄 同時(shí)避免過(guò)度夾持造成番茄損傷 識(shí)別檢測(cè)技術(shù) 數(shù)據(jù)采集與處理 試驗(yàn)研究區(qū)域選在江蘇省連云港市海州區(qū)浦南 鎮(zhèn)草舍村的番茄種植基地 該基地主要栽培桃夢(mèng)茜 粉太郎 普羅旺斯等比較適合溫室大棚的優(yōu)質(zhì)番茄 圖 采摘場(chǎng)景 品種 以果實(shí)色澤鮮艷 產(chǎn)量最高的桃夢(mèng)茜品種番 茄作為研究對(duì)象 于 年 月至 月期間 使用 相機(jī)在溫室大棚環(huán)境中采集不同植株 不同成 熟度的番茄圖像 為了提高番茄識(shí)別檢測(cè)準(zhǔn)確性 分上午 中午 下午 個(gè)時(shí)間段采集相同數(shù)量的有效 番茄圖像 如圖 所示 采集蔓葉蔓枝對(duì)番茄的遮 擋 番茄果實(shí)之間的重疊 不同光照條件與不同拍攝 角度等多種情況樣本 共獲取 像素 像 素的有效番茄圖像 幅 使用 模型訓(xùn) 練 并將番茄數(shù)據(jù)集用 工具進(jìn)行標(biāo)注 按 照成熟度將番茄圖像標(biāo)注為 共 種類(lèi)別 標(biāo)注數(shù)量分別為 保存為 文檔 最后將標(biāo)注的圖像數(shù)據(jù)集按照比例 劃分為訓(xùn)練集 驗(yàn)證集和測(cè)試集 圖 番茄采樣圖像示例 基于 的番茄識(shí)別方法 番茄在實(shí)際生長(zhǎng)中環(huán)境比較復(fù)雜 使得采集的 圖像樣本中存在枝蔓遮擋 果實(shí)遮擋和光線等情況 影響顏色變化 導(dǎo)致準(zhǔn)確檢測(cè)成熟的果實(shí)較為困難 現(xiàn)有的 算法檢測(cè)精度高 但在實(shí)際應(yīng)用 中 仍會(huì)出現(xiàn)誤識(shí)別 漏識(shí)別情況 因此本文在原有 的 網(wǎng)絡(luò)模型基礎(chǔ)上 引入 顏色分割模 塊 提高對(duì)遮擋番茄和光照不均條件下番茄識(shí)別準(zhǔn) 確率 相較于 顏色空間 顏色空間更適合本 第 期 雷志龍等 設(shè)施番茄采摘機(jī)器人識(shí)別定位與采摘方法研究 工作 在 顏色空間中 每種顏色都有其對(duì)應(yīng)的 色調(diào) 飽和度 亮度 值的范圍 該顏色 空間更能夠直觀地表達(dá)出圖像顏色的明暗程度 鮮 艷程度以及顏色色調(diào) 且亮度對(duì)色彩的影響較小 如圖 所示 顏色空間常用于將圖像中的指定 顏色目標(biāo)區(qū)域從背景中分割出來(lái) 從圖中直方圖可 以看出 在 分量下的直方圖有兩個(gè)明顯的波峰 依據(jù)直方圖雙峰法 可以選兩峰之間最低谷作為圖 像分割的閾值 從而將識(shí)別目標(biāo)與未成熟番茄和枝 葉等背景分割開(kāi) 圖 各通道圖像及對(duì)應(yīng)直方圖 圖 目標(biāo)識(shí)別過(guò)程 本工作在 框架中嵌入 顏色空間 算法 網(wǎng)絡(luò)模型實(shí)現(xiàn)過(guò)程如圖 所示 輸入端輸入 像素 像素的 三 通道番茄圖像 經(jīng)過(guò) 模塊和 模塊 處理后 對(duì)成熟番茄目標(biāo)進(jìn)行檢測(cè) 基于獲取的 檢測(cè)框坐標(biāo)確定坐標(biāo)并執(zhí)行提取操作 進(jìn)而提取 出圖像中的目標(biāo)番茄區(qū)域 在此過(guò)程中 可能會(huì) 有部分未成熟番茄被一同提取 隨后 把提取出 的目標(biāo)番茄區(qū)域的 圖像通過(guò) 顏色空間 算法沿 分量轉(zhuǎn)換 計(jì)算紅色區(qū)域面積與檢測(cè)框 總面積的比值 從而獲取紅色區(qū)域占比 再將計(jì) 算所得占比與預(yù)設(shè)閾值進(jìn)行對(duì)比 若占比達(dá)到 或超出閾值 則判定該檢測(cè)框內(nèi)番茄為成熟 目標(biāo) 在采用 網(wǎng)絡(luò)模型進(jìn)行目標(biāo)檢測(cè)的過(guò) 程中 對(duì)目標(biāo)番茄的檢測(cè)框沿色度分量 分量 進(jìn) 行分割 并計(jì)算分割出的紅色區(qū)域占整個(gè)檢測(cè)框區(qū) 域面積比例 當(dāng) 過(guò)大時(shí) 目標(biāo)果實(shí)被遮擋過(guò)多 或強(qiáng)光直射會(huì)導(dǎo)致檢測(cè)過(guò)度篩除 使得那些紅色區(qū) 域占比較小但實(shí)際存在的目標(biāo)被誤判為背景 增加 漏檢情況 進(jìn)而導(dǎo)致漏檢率 增加 當(dāng) 較小時(shí) 對(duì) 成熟番茄的篩選效果降低 使得更多的背景或非目 標(biāo)物體被錯(cuò)誤地識(shí)別為目標(biāo) 導(dǎo)致誤識(shí)別率 增 加 計(jì)算公式為 第二十七屆中國(guó)科協(xié)年會(huì)學(xué)術(shù)論文 年 式中 番茄總數(shù)量 準(zhǔn)確率 誤識(shí)別的非成熟番茄數(shù)量 未識(shí)別的成熟番茄數(shù)量 識(shí)別出的成熟番茄數(shù)量 根據(jù)前期分析 為 時(shí) 準(zhǔn)確率 相 對(duì)較好 試驗(yàn)結(jié)果如表 所示 綜合考慮增加占比 對(duì)漏檢率和誤識(shí)別率的影響 選擇 為 時(shí) 識(shí) 別準(zhǔn)確率 為最高值 達(dá)到 成熟目標(biāo)番茄 的實(shí)時(shí)識(shí)別檢測(cè)達(dá)到最佳效果 表 占比 與誤識(shí)別率 漏檢率 及準(zhǔn)確率 關(guān)系 誤識(shí)別率 漏檢率 準(zhǔn)確率 模型訓(xùn)練與結(jié)果分析 模型訓(xùn)練在配備 的 邊緣計(jì)算機(jī)上進(jìn)行 該計(jì)算機(jī)配置了 操作系統(tǒng) 使用 搭建框架 并安裝 和 為了 使檢測(cè)模型更輕量化 均選擇 網(wǎng)絡(luò)模型 為基礎(chǔ) 分別進(jìn)行訓(xùn)練 設(shè)置好訓(xùn)練最大迭代次數(shù)為 處理批次大小為 初始學(xué)習(xí)率為 循環(huán) 學(xué)習(xí)率為 將劃分好的訓(xùn)練集數(shù)據(jù)加載到模型 中 并初始化模型權(quán)重后開(kāi)始訓(xùn)練 試驗(yàn)結(jié)果如表 所示 模型正 確率相比于原模型提升 個(gè)百分點(diǎn) 召回率提升 個(gè)百分點(diǎn) 平均精度提升 個(gè)百分點(diǎn) 但檢測(cè) 時(shí)間相較于原模型多 從模型的整體性能上 看 識(shí)別檢測(cè)更為出色 此外 對(duì)不 同模型分別進(jìn)行測(cè)試 測(cè)試結(jié)果如圖 所示 由 圖 可以看出 種成熟度番茄能夠被較好地識(shí) 別 且在光照不均 遮擋部分較多等情況下也能保證 較高的識(shí)別權(quán)重 如圖 所示 加入 模型能夠 有效去除未成熟番茄和枝葉背景 成功識(shí)別成熟目 標(biāo)果實(shí) 表 不同模型試驗(yàn)結(jié)果 模型平均精度 正確率 召回率 檢測(cè)時(shí)間 圖 不同模型識(shí)別對(duì)比 定位方法 雙目相機(jī)由兩個(gè)以一定距離并排布置的 攝像頭組成 通過(guò)計(jì)算圖像間的視差來(lái)估計(jì)物體的 深度信息 此外 相機(jī)還采用結(jié)構(gòu)光技術(shù) 如 圖 所示 通過(guò)發(fā)送光束并測(cè)量光束在場(chǎng)景中的變 化來(lái)獲取深度信息 進(jìn)一步增強(qiáng)了深度測(cè)量的準(zhǔn)確 性 根據(jù)得到的深度信息可以生成深度圖 并利用 深度圖能夠進(jìn)一步構(gòu)建出場(chǎng)景的三維結(jié)構(gòu) 相機(jī)基于結(jié)構(gòu)光和雙目立體視覺(jué)匹配來(lái)實(shí)現(xiàn)對(duì)目標(biāo) 的精準(zhǔn)定位 同時(shí)能夠降低在昏暗或者夜間環(huán)境下 受顏色和紋理的影響 因此 本工作選擇 雙目 相機(jī)來(lái)應(yīng)用于復(fù)雜環(huán)境下實(shí)現(xiàn)目標(biāo)精準(zhǔn)定位 考慮到設(shè)施種植環(huán)境和采摘策略 選擇將 相機(jī)固定安裝在機(jī)械臂外的位置 為了實(shí)現(xiàn)對(duì)目標(biāo) 番茄的精準(zhǔn)定位和采摘作業(yè) 需要通過(guò) 眼在手外 的標(biāo)定方法來(lái)確定相機(jī)坐標(biāo)系與機(jī)械臂坐標(biāo)系之間 的轉(zhuǎn)換關(guān)系 如圖 所示 首先 將圖像的坐標(biāo)系 坐標(biāo)仿射變換轉(zhuǎn)換成像素坐標(biāo)系 得到坐標(biāo) 點(diǎn) 通過(guò)相機(jī)標(biāo)定獲取相機(jī)內(nèi)參矩陣 然 后 將圖像平面上的這個(gè)點(diǎn)坐標(biāo)轉(zhuǎn)換到相機(jī)坐標(biāo)系 中 得到在相機(jī)坐標(biāo)系 中坐標(biāo) 同時(shí) 利用手眼標(biāo)定的方法來(lái)獲取相機(jī)外參旋轉(zhuǎn)矩 陣和平移矩陣 通過(guò)剛體變換最終得到機(jī)械臂基坐 第 期 雷志龍等 設(shè)施番茄采摘機(jī)器人識(shí)別定位與采摘方法研究 圖 相機(jī)立體視配 圖 手眼標(biāo)定坐標(biāo)系轉(zhuǎn)換關(guān)系 標(biāo)系 下的坐標(biāo) 不斷調(diào)整和 優(yōu)化參數(shù) 以提高定位準(zhǔn)確性和精度 在實(shí)際操作中 具體步驟如下 首先將標(biāo)定板固 定在機(jī)械臂末端 控制機(jī)械臂末端移至相機(jī)視野內(nèi) 在不同位置和姿態(tài)下拍攝多組標(biāo)定板圖像 如圖 所示 并同時(shí)記錄對(duì)應(yīng)機(jī)械臂末端四元素坐標(biāo) 圖 不同位姿下拍攝的標(biāo)定圖像 通過(guò)使用 進(jìn)行相機(jī)標(biāo)定 可以計(jì)算出 相機(jī)的內(nèi)參矩陣 將獲得的相機(jī)參數(shù)和記錄機(jī) 械臂末端執(zhí)行器的四元素坐標(biāo)導(dǎo)入寫(xiě)好的手眼標(biāo)定 程序中 并運(yùn)行程序獲取轉(zhuǎn)換矩陣 接著 將轉(zhuǎn)換矩 陣和訓(xùn)練權(quán)重導(dǎo)入視覺(jué)識(shí)別程序中 驅(qū)動(dòng)相機(jī)進(jìn)行 識(shí)別定位 從而獲得機(jī)械臂基坐標(biāo)系下的三維空間 坐標(biāo) 如圖 所示 并記錄 組檢測(cè)值與真實(shí)值 結(jié)果如表 可知 軸最大誤差為 平均誤差 為 軸最大誤差為 平均誤差為 軸最大誤差為 平均誤差為 根據(jù)設(shè)計(jì)末端執(zhí)行器抓取統(tǒng)計(jì)可知 定位 誤差在允許范圍內(nèi) 符合使用要求 圖 三維識(shí)別定位 表 番茄中心點(diǎn)三維坐標(biāo)檢測(cè)結(jié)果 序號(hào)檢測(cè)值真實(shí)值誤差 采摘試驗(yàn) 基于上述研究 實(shí)驗(yàn)室研發(fā)了一臺(tái)設(shè)施番茄采 摘機(jī)器人樣機(jī) 并對(duì)該樣機(jī)進(jìn)行了調(diào)試與采摘試驗(yàn) 番茄采摘機(jī)器人樣機(jī)如圖 所示 采摘機(jī)器人整體 尺寸為 主要由六軸協(xié)作機(jī)械 臂 雙目深度相機(jī) 柔性末端執(zhí)行器 移動(dòng)平臺(tái) 升降 機(jī)構(gòu) 控制柜等硬件組成 微型控制器作為整個(gè)采 摘機(jī)器人的控制中心 裝有 系統(tǒng) 具備足夠 的算力來(lái)支持深度學(xué)習(xí)運(yùn)算 并通過(guò)網(wǎng)口接口 接口傳輸數(shù)據(jù)以實(shí)現(xiàn)雙目深度相機(jī)和機(jī)械臂工控機(jī) 之間的實(shí)時(shí)通信 六軸協(xié)作機(jī)械臂裝備有效負(fù)載為 的末端力控執(zhí)行器 結(jié)合升降機(jī)構(gòu) 采摘機(jī)器 人能夠在高度 范圍內(nèi)對(duì)成熟番茄進(jìn)行識(shí)別 定位和采摘試驗(yàn) 在連云港設(shè)施基地環(huán)境下進(jìn)行實(shí)地試驗(yàn) 采收 作業(yè)過(guò)程如圖 所示 運(yùn)行視覺(jué)和機(jī)械臂控制程 序 相機(jī)會(huì)進(jìn)行實(shí)時(shí)識(shí)別定位 當(dāng)成熟番茄出 第二十七屆中國(guó)科協(xié)年會(huì)學(xué)術(shù)論文 年 圖 番茄采摘機(jī)器人樣機(jī) 圖 采收作業(yè)過(guò)程 現(xiàn)在相機(jī)視野范圍內(nèi)時(shí) 系統(tǒng)會(huì)發(fā)送數(shù)據(jù)以控制機(jī) 器人停止前進(jìn) 并將識(shí)別出的番茄三維坐標(biāo)信息發(fā) 送至機(jī)械臂工控機(jī) 工控機(jī)隨后控制機(jī)械臂和末端 執(zhí)行器到達(dá)采摘點(diǎn)夾持目標(biāo)果實(shí) 完成采摘?jiǎng)幼骱?將果實(shí)平穩(wěn)放回框內(nèi) 并重復(fù)采收作業(yè)直至視野內(nèi) 所有成熟番茄被采摘完畢 試驗(yàn)中采用旋轉(zhuǎn)和拖拽兩種采摘方式 通過(guò)前 期觀察 發(fā)現(xiàn)成熟果實(shí)與果梗之間存在開(kāi)花后形成 的節(jié)點(diǎn) 按照開(kāi)花節(jié)點(diǎn)反方向更易成功采摘 根據(jù) 末端執(zhí)行器兩端活動(dòng)滾輪結(jié)構(gòu)設(shè)計(jì) 當(dāng)控制機(jī)械臂 夾持目標(biāo)果實(shí)并實(shí)現(xiàn)斜向上拖拽動(dòng)作時(shí) 果梗會(huì)拉 直果實(shí) 使得夾具會(huì)自動(dòng)向反方向旋轉(zhuǎn) 果實(shí)采摘的 成功率大幅度提高 當(dāng)相機(jī)視野范圍內(nèi)沒(méi)有可采摘 的番茄時(shí) 系統(tǒng)會(huì)發(fā)送指令給底盤(pán)工控機(jī) 控制小車(chē) 繼續(xù)前進(jìn)以尋找下一個(gè)采摘目標(biāo) 在此次實(shí)地試驗(yàn) 中 結(jié)果如表 所示 共識(shí)別到 個(gè)成熟番茄果 實(shí) 采摘失敗原因主要有定位失準(zhǔn) 分離失敗和抓握 受阻 最終選擇拖拽動(dòng)作進(jìn)行采收作業(yè) 成功采摘 個(gè)成熟番茄 采摘成功率為 單果平均采 摘時(shí)間為 表 采摘試驗(yàn)結(jié)果 采摘 動(dòng)作 類(lèi)型 果實(shí) 總數(shù) 采摘試驗(yàn)指標(biāo)采摘失敗指標(biāo) 識(shí)別 成功 個(gè)數(shù) 采摘 成功 個(gè)數(shù) 單果平 均采摘 時(shí)間 定位 失準(zhǔn) 個(gè)數(shù) 分離 失敗 個(gè)數(shù) 抓握 受阻 個(gè)數(shù) 旋轉(zhuǎn) 拖拽 結(jié)論 針對(duì)設(shè)施環(huán)境下的單果番茄采摘 本工作 整體搭建了番茄自主采摘平臺(tái) 包括單桅柱伺服滾 珠絲杠副升降機(jī)構(gòu) 六軸協(xié)作機(jī)械臂 力控夾指式末 端執(zhí)行器 雙目相機(jī) 控制器等部分 參照設(shè) 施單果番茄的生長(zhǎng)特性 對(duì)升降機(jī)構(gòu)和末端執(zhí)行器 進(jìn)行結(jié)構(gòu)設(shè)計(jì) 基于 檢測(cè)算法 實(shí)現(xiàn)了對(duì) 成熟目標(biāo)果實(shí)精準(zhǔn)識(shí)別 通過(guò)對(duì) 分量進(jìn)行圖像 閾值分割 試驗(yàn)找出最佳面積分割占比 提高了對(duì) 成熟目標(biāo)果實(shí)識(shí)別準(zhǔn)確率 有效排除未成熟番茄和 枝葉背景干擾 采用 雙目相機(jī)定位目標(biāo)果實(shí)的三維空 間坐標(biāo) 利用 進(jìn)行相機(jī)標(biāo)定來(lái)獲取內(nèi)參信息 使用四元素方法記錄相應(yīng)末端執(zhí)行器在機(jī)械臂基坐 標(biāo)系中的位姿信息 通過(guò)眼在手外標(biāo)定方式計(jì)算得出 轉(zhuǎn)換矩陣 實(shí)現(xiàn)對(duì)目標(biāo)果實(shí)的精準(zhǔn)定位 通過(guò)在實(shí)驗(yàn)室和種植基地對(duì)樣機(jī)進(jìn)行采摘 試驗(yàn) 采用兩種采摘策略對(duì)目標(biāo)果實(shí)進(jìn)行摘取 現(xiàn)場(chǎng) 試驗(yàn)結(jié)果表明 采用拖拽方式的采摘策略具有更高 的成功率 并且能夠根據(jù)預(yù)設(shè)程序自動(dòng)完成實(shí)時(shí)識(shí) 別定位 采收番茄果實(shí)等一系列動(dòng)作 有效驗(yàn)證了設(shè) 計(jì)方案的合理性和實(shí)用性 參考文獻(xiàn) 徐燦 熊征 蔣先平 等 串收番茄采摘機(jī)器人的設(shè)計(jì)與研究 現(xiàn)代農(nóng)業(yè)裝備 陳至靈 姜樹(shù)海 孫翊 農(nóng)林業(yè)采收機(jī)器人發(fā)展現(xiàn)狀 農(nóng)業(yè)工程 第 期 雷志龍等 設(shè)施番茄采摘機(jī)器人識(shí)別定位與采摘方法研究 劉繼展 江應(yīng)星 農(nóng)業(yè)采摘機(jī)器人產(chǎn)業(yè)化進(jìn)程分析與多臂高速化技術(shù)走向 農(nóng)業(yè)機(jī)械學(xué)報(bào) 王海楠 弋景剛 張秀花 番茄采摘機(jī)器人識(shí)別與定位技術(shù)研究進(jìn)展 中國(guó)農(nóng)機(jī)化學(xué)報(bào) 王曉楠 伍萍輝 馮青春 等 番茄采摘機(jī)器人系統(tǒng)設(shè)計(jì)與試驗(yàn) 農(nóng)機(jī)化研究 梁喜鳳 楊犇 王永維 番茄收獲機(jī)械手軌跡跟蹤模糊控制仿真與試驗(yàn) 農(nóng)業(yè)工程學(xué)報(bào) 秦超 梁喜鳳 路杰 等 七自由度番茄收獲機(jī)械手的軌跡規(guī)劃與仿真 浙江大學(xué)學(xué)報(bào) 工學(xué)版 第二十七屆中國(guó)科協(xié)年會(huì)學(xué)術(shù)論文 年