智能采摘機(jī)器人視覺識別與末端執(zhí)行器自適應(yīng)抓取策略_艾家昊.pdf

2 0 2 5年 第8期 中國農(nóng)機(jī)裝備 智能農(nóng)業(yè)裝備 智能采摘機(jī)器人視覺識別與末端執(zhí)行器自適應(yīng)抓取策略 智能采摘機(jī)器人視覺識別與末端執(zhí)行器自適應(yīng) 抓取策略 艾家昊 張楠 趙吉慶 江蘇航空職業(yè)技術(shù)學(xué)院 鎮(zhèn)江 212134 摘要 探討了視覺識別技術(shù)與末端執(zhí)行器自適應(yīng)抓取策略 在闡述視覺識別系統(tǒng)的工作原理 關(guān)鍵算法及其在果實(shí)識別與定位 中應(yīng)用的基礎(chǔ)上 分析了末端執(zhí)行器自適應(yīng)抓取的影響因素 提出了相應(yīng)的自適應(yīng)抓取策略 通過實(shí)驗(yàn)驗(yàn)證了所提策略能有效 提高采摘機(jī)器人的識別準(zhǔn)確率和抓取成功率 為智能采摘機(jī)器人的進(jìn)一步發(fā)展提供了實(shí)踐參考 關(guān)鍵詞 智能采摘機(jī)器人 視覺識別 末端執(zhí)行器 自適應(yīng)抓取策略 1 引言 隨著農(nóng)業(yè)現(xiàn)代化的推進(jìn) 水果采摘的勞動強(qiáng)度大 效率低等問題日益凸顯 智能采摘機(jī)器人作為解決這 一問題的有效手段受到了廣泛關(guān)注 視覺識別技術(shù)能 夠準(zhǔn)確識別和定位果實(shí) 末端執(zhí)行器的自適應(yīng)抓取策 略則能根據(jù)果實(shí)特性實(shí)現(xiàn)精準(zhǔn)抓取 二者結(jié)合可顯著 提高采摘機(jī)器人的性能 對提高農(nóng)業(yè)生產(chǎn)效率 降低 勞動成本具有重要意義 本文首先研究視覺識別技術(shù) 分析不同算法在果實(shí)識別中的應(yīng)用 然后探討末端執(zhí) 行器自適應(yīng)抓取的影響因素 提出自適應(yīng)抓取策略 最后通過實(shí)驗(yàn)驗(yàn)證策略的有效性 2 智能采摘機(jī)器人視覺識別技術(shù) 2 1 視覺識別系統(tǒng)組成 智能采摘機(jī)器人的視覺識別系統(tǒng)是其實(shí)現(xiàn)精準(zhǔn)采 摘的關(guān)鍵部分 主要由硬件部分組成 3 攝像頭作為 系統(tǒng)的 眼睛 負(fù)責(zé)捕捉采摘場景的圖像信息 其 選型至關(guān)重要 需考慮分辨率 幀率 視野范圍等參 數(shù) 以適應(yīng)不同果實(shí)的識別需求 1 2 圖像采集卡則 將攝像頭采集到的模擬信號轉(zhuǎn)換為數(shù)字信號 并傳輸 給計(jì)算機(jī)進(jìn)行處理 計(jì)算機(jī)作為核心處理單元 具備 強(qiáng)大的計(jì)算能力 能夠運(yùn)行復(fù)雜的圖像處理和識別算 法 各硬件相互協(xié)作 共同完成視覺識別任務(wù) 2 2 關(guān)鍵圖像處理算法 圖像采集是視覺識別的第一步 需要根據(jù)采摘環(huán) 境和果實(shí)的特性合理設(shè)置攝像頭的參數(shù) 比如焦距 光圈等 以確保采集到清晰 準(zhǔn)確的圖像 因此 為 提高圖像質(zhì)量 減少噪聲干擾 采用中值濾波算法對 圖像進(jìn)行去噪處理 中值濾波的基本原理是用像素點(diǎn) 鄰域灰度值的中值代替該像素點(diǎn)的灰度值 其數(shù)學(xué)表 達(dá)式為 g x y median f s t s t S xy 1 式中 g x y 為輸出圖像在點(diǎn) x y 處的灰度值 f s t 為輸入圖像在點(diǎn) s t 處的灰度值 S xy 為以 x y 為中心的鄰域 采用基于顏色特征的圖像分割方法 將果實(shí)從背 景中分離出來 通過設(shè)定合適的顏色閾值 將圖像中 符合果實(shí)顏色特征的像素點(diǎn)提取出來 形成二值圖像 常用的方法有基于閾值的分割 基于邊緣的分割等 為后續(xù)的特征提取與識別奠定基礎(chǔ) 在識別算法方面 利用支持向量機(jī) SVM 算法 進(jìn)行分類識別 SVM 算法通過尋找最優(yōu)分類超平面 將不同類別的果實(shí)區(qū)分開來 3 末端執(zhí)行器自適應(yīng)抓取策略 3 1 影響自適應(yīng)抓取的因素分析 智能采摘機(jī)器人末端執(zhí)行器的自適應(yīng)抓取效果受 多重因素制約 4 5 從果實(shí)特性來看 不同種類果實(shí) 大小差異顯著 例如草莓小巧玲瓏 而西瓜則碩大飽 滿 這對末端執(zhí)行器的抓取尺寸范圍和抓取力度控制 提出不同要求 環(huán)境因素同樣不容忽視 光照強(qiáng)度和 角度變化會干擾視覺識別系統(tǒng) 進(jìn)而影響末端執(zhí)行器 作者簡介 艾家昊 1996 08 男 助教 研究方向 無人機(jī)技術(shù) 計(jì)算機(jī)軟件 2 0 2 5年 第8期 中國農(nóng)機(jī)裝備 智能農(nóng)業(yè)裝備 智能采摘機(jī)器人視覺識別與末端執(zhí)行器自適應(yīng)抓取策略 的定位精度 機(jī)器人自身因素也起著關(guān)鍵作用 運(yùn)動 精度不足會導(dǎo)致末端執(zhí)行器無法準(zhǔn)確到達(dá)目標(biāo)位置 影響抓取成功率 控制算法的優(yōu)劣直接影響末端執(zhí)行 器的響應(yīng)速度和抓取動作的協(xié)調(diào)性 3 2 自適應(yīng)抓取策略 針對不同果實(shí)特性 需制定差異化抓取策略 對 于易損傷的果實(shí) 如草莓 葡萄等 采用小抓取力和 包絡(luò)式抓取方式 末端執(zhí)行器配備柔軟的硅膠材質(zhì)手 指 以較小壓力均勻包裹果實(shí) 避免局部壓力過大造 成損傷 利用視覺傳感器和其他環(huán)境傳感器實(shí)時感知 采摘環(huán)境變化 當(dāng)檢測到枝葉遮擋時 視覺系統(tǒng)分析 遮擋程度和位置 控制機(jī)器人調(diào)整末端執(zhí)行器的運(yùn)動 軌跡 繞過枝葉接近果實(shí) 力反饋控制原理是通過力 傳感器實(shí)時感知果實(shí)與末端執(zhí)行器之間的接觸力 當(dāng) 末端執(zhí)行器接近果實(shí)并開始接觸時 力傳感器將接觸 力信號傳輸給控制系統(tǒng) 控制系統(tǒng)根據(jù)預(yù)設(shè)的抓取力 閾值 動態(tài)調(diào)整驅(qū)動裝置的輸出 3 3 自適應(yīng)抓取策略仿真與實(shí)驗(yàn)驗(yàn)證 建立智能采摘機(jī)器人的仿真模型 模擬不同果實(shí) 特性 環(huán)境條件和抓取場景 對自適應(yīng)抓取策略進(jìn)行 仿真分析 通過仿真結(jié)果評估策略的有效性和可行性 優(yōu)化策略參數(shù) 設(shè)計(jì)實(shí)際采摘實(shí)驗(yàn) 在真實(shí)的果園環(huán) 境中進(jìn)行測試 對比不同策略下的抓取成功率和果實(shí) 損傷率 實(shí)驗(yàn)數(shù)據(jù)顯示 采用自適應(yīng)抓取策略后 抓 取成功率顯著提高 果實(shí)損傷率明顯降低 驗(yàn)證了該 策略在實(shí)際應(yīng)用中的優(yōu)越性 4 實(shí)驗(yàn)與結(jié)果分析 4 1 實(shí)驗(yàn)?zāi)康呐c場景搭建 實(shí)驗(yàn)旨在全面驗(yàn)證智能采摘機(jī)器人視覺識別與末 端執(zhí)行器自適應(yīng)抓取策略的有效性 評估機(jī)器人在不 同實(shí)際采摘場景下的性能表現(xiàn) 實(shí)驗(yàn)場景搭建在一片 真實(shí)的果園中 果園內(nèi)種植了多種常見水果 包括蘋 果 梨和葡萄 這些水果在大小 形狀 顏色和成熟 度上存在一定差異 能夠充分模擬實(shí)際采摘過程中可 能遇到的各種情況 實(shí)驗(yàn)設(shè)備包括智能采摘機(jī)器人本體 其配備了高 分辨率的視覺識別攝像頭 多自由度的機(jī)械臂以及帶 有多種傳感器的末端執(zhí)行器 4 2 實(shí)驗(yàn)步驟 圖像采集 在果園的不同區(qū)域 不同光照條件下 使用視覺識別攝像頭采集水果的圖像數(shù)據(jù) 共采集了 1000 張?zhí)O果圖像 800 張梨圖像和 600 張葡萄圖像 涵蓋了不同成熟度和背景環(huán)境 圖像預(yù)處理 對采集到的圖像進(jìn)行去噪 增強(qiáng)和 分割等預(yù)處理操作 以提高圖像質(zhì)量和突出水果特征 特征提取與識別 利用訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò) CNN 模型對預(yù)處理后的圖像進(jìn)行特征提取和識別 記錄模型對每種水果的識別結(jié)果 包括正確識別的圖 像數(shù)量和錯誤識別的圖像數(shù)量 抓取目標(biāo)設(shè)定 根據(jù)視覺識別系統(tǒng)的結(jié)果 將機(jī) 器人引導(dǎo)至水果所在位置 針對每種水果 分別設(shè)置 不同的抓取難度級別 如簡單 無枝葉遮擋 果實(shí)位 置明顯 中等 有少量枝葉遮擋 和困難 有較多 枝葉遮擋 果實(shí)位置較隱蔽 抓取操作 啟動末端執(zhí)行器的自適應(yīng)抓取策略 根據(jù)水果特性和環(huán)境感知信息 調(diào)整抓取方式 抓取 力和運(yùn)動軌跡 記錄每次抓取的成功與否 以及抓取 過程中果實(shí)是否受到損傷 將視覺識別和末端執(zhí)行器自適應(yīng)抓取策略進(jìn)行綜 合應(yīng)用 模擬完整的采摘流程 讓機(jī)器人在果園中自 主移動 依次對不同區(qū)域 不同類型的水果進(jìn)行識別 和抓取 記錄整個采摘過程中的各項(xiàng)數(shù)據(jù) 包括采摘 時間 采摘成功率 果實(shí)損傷率等 4 3 實(shí)驗(yàn)結(jié)果及分析 在蘋果圖像識別中 正確識別了920 張 錯誤識別 了 80 張 識別準(zhǔn)確率為 92 在圖像識別中 正確識別 了 730 張 錯誤識別了 70 張 識別準(zhǔn)確率為 91 25 葡 萄圖像識別中 正確識別了550 張 錯誤識別了50 張 識別準(zhǔn)確率為 91 67 總體來看 視覺識別系統(tǒng)在不同 水果的識別上均取得了較高的準(zhǔn)確率 在不同抓取難度級別下 末端執(zhí)行器的抓取成功 率如表 1 所示 表 1 末端執(zhí)行器抓取成功率 水果 類型 簡單難度 抓取成功率 中等難度 抓取成功率 困難難度 抓取成功率 蘋果 95 88 75 梨 93 85 72 葡萄 90 80 68 果實(shí)損傷率方面 蘋果的平均損傷率為 3 梨 的平均損傷率為 4 葡萄的平均損傷率為 5 在綜合實(shí)驗(yàn)中 機(jī)器人完成一次完整的采摘任務(wù)