基于視覺—RTK的蘋果園植保機器人自主導(dǎo)航研究_黃鵬飛.pdf

第 46 卷 第 6 期 V ol 46 N o 6 2025 年 6 月 Jun 2025 中 國 農(nóng) 機 化 學(xué) 報 Journal of C hinese A gricultural M echanization D O I 10 13733 j jcam issn 2095 5553 2025 06 028 黃 鵬 飛 薛 新 宇 崔 龍 飛 基 于 視 覺 R T K 的 蘋 果 園 植 保 機 器 人 自 主 導(dǎo) 航 研 究 J 中 國 農(nóng) 機 化 學(xué) 報 2025 46 6 187 192 H uang P engfei X ue X inyu C ui L ongfei R esearch on autonom ous navigation of plant protection robot in apple orchard based on V ision R T K J Journal of C hinese A gricultural M echanization 2025 46 6 187 192 基 于 視 覺 R T K 的 蘋 果 園 植 保 機 器 人 自 主 導(dǎo) 航 研 究 黃 鵬 飛 1 2 薛 新 宇 1 崔 龍 飛 1 1 農(nóng) 業(yè) 農(nóng) 村 部 南 京 農(nóng) 業(yè) 機 械 化 研 究 所 南 京 市 210014 2 中 國 農(nóng) 業(yè) 科 學(xué) 院 研 究 生 院 北 京 市 100081 摘 要 針 對 標(biāo) 準(zhǔn) 化 的 寬 行 矮 化 密 植 蘋 果 種 植 模 式 的 特 點 設(shè) 計 一 種 基 于 視 覺 R T K 的 自 主 導(dǎo) 航 植 保 機 器 人 自 主 導(dǎo) 航 系 統(tǒng) 導(dǎo) 航 任 務(wù) 分 為 2 個 部 分 行 間 直 行 階 段 應(yīng) 用 U N et 語 義 分 割 網(wǎng) 絡(luò) 提 取 邊 緣 線 擬 合 出 導(dǎo) 航 線 控 制 行 間 植 保 機 器 人 的 航 向 行 頭 行 尾 轉(zhuǎn) 彎 階 段 通 過 預(yù) 設(shè) R T K 全 局 目 標(biāo) 點 對 植 保 機 器 人 運 動 軌 跡 進 行 控 制 發(fā) 揮 組 合 導(dǎo) 航 的 優(yōu) 勢 結(jié) 果 表 明 基 于 R T K 全 局 規(guī) 劃 的 平 均 橫 向 偏 差 為 0 1 m 最 大 偏 差 為 0 3 m 而 基 于 視 覺 導(dǎo) 航 的 平 均 橫 向 偏 差 為 0 5 m 最 大 偏 差 為 0 9 m 植 保 機 器 人 導(dǎo) 航 系 統(tǒng) 基 本 滿 足 蘋 果 園 自 動 導(dǎo) 航 任 務(wù) 的 要 求 具 有 一 定 的 可 行 性 關(guān) 鍵 詞 植 保 機 器 人 果 園 導(dǎo) 航 路 徑 規(guī) 劃 語 義 分 割 蘋 果 中 圖 分 類 號 S 24 T P 29 文 獻(xiàn) 標(biāo) 識 碼 A 文 章 編 號 2095 5553 2025 06 0187 06 R e s e a r c h o n a u t o n o m o u s n a v ig a t io n o f p la n t p r o t e c t io n r o b o t in a p p le o r c h a r d b a s e d o n V is io n R T K H u a n g P e n g fe i 1 2 X u e X in y u 1 C u i L o n g fe i 1 1 N a n jin g I n s titu te o f A g r ic u ltu r a l M e c h a n iz a tio n M in is tr y o f A g r ic u ltu r e a n d R u r a l A ffa ir s N a n jin g 210014 C h in a 2 G r a d u a te S c h o o l o f C h in e s e A c a d e m y o f A g r ic u ltu r a l S c ie n c e s B e ijin g 100081 C h in a A b s t r a c t A im ing at the characteristics of standardized w ide row dw arfing and densely planted apple planting m ode an autonom ous navigation system for plant protection robot based on visual R T K w as designed in this paper T he navigation task w as divided into tw o parts as follow s in the straight line stage the edge lines extracted by U N et sem antic segm entation netw ork w ere used to fit the navigation lines for independent navigation betw een row s T he m otion trajectory of plant protection robot w as controlled by R T K positioning point in the turning stage of the row head and tail and the advantages of integrated navigation w ere exerted respectively T he results show ed that the average lateral deviation of the global planning based on R T K w as 0 1 m and the m axim um deviation w as 0 3 m w hile the average lateral deviation of the visual navigation w as 0 5 m and the m axim um deviation w as 0 9 m T he plant protection robot navigation system basically m et the requirem ents of the autom atic navigation task of the apple orchard and had certain feasibility K e y w o r d s plant protection robot orchard navigation path planning sem antic segm entation apple 0 引 言 隨 著 科 技 的 發(fā) 展 機 器 人 已 被 廣 泛 應(yīng) 用 于 農(nóng) 業(yè) 生 產(chǎn) 自 主 導(dǎo) 航 技 術(shù) 作 為 機 器 人 的 關(guān) 鍵 技 術(shù) 一 直 是 國 內(nèi) 外 學(xué) 者 關(guān) 注 的 焦 點 機 器 人 通 過 傳 感 器 對 周 圍 環(huán) 境 進 行 感 知 1 通 過 控 制 決 策 算 法 實 現(xiàn) 精 準(zhǔn) 定 位 路 徑 規(guī) 劃 等 功 能 在 標(biāo) 準(zhǔn) 寬 行 矮 化 密 植 蘋 果 園 中 由 于 蘋 果 樹 冠 層 的 遮 擋 和 多 路 徑 效 應(yīng) 干 擾 R T K G N S S 定 位 信 號 接 收 的 精 度 不 佳 2 在 蘋 果 園 行 間 定 位 信 息 不 準(zhǔn) 確 視 覺 導(dǎo) 航 系 統(tǒng) 在 蘋 果 園 環(huán) 境 中 面 臨 的 圖 像 背 景 復(fù) 雜 干 擾 因 素 多 等 問 題 特 別 在 果 園 行 頭 行 尾 處 受 到 光 照 陰 影 相 機 抖 動 等 環(huán) 境 因 素 影 響 較 大 3 影 響 視 覺 導(dǎo) 航 收 稿 日 期 2024 年 5 月 17 日 修 回 日 期 2024 年 6 月 6 日 基 金 項 目 國 家 重 點 研 發(fā) 計 劃 青 年 科 學(xué) 家 項 目 2022Y F D 2000700 第 一 作 者 黃 鵬 飛 男 1997 年 生 江 西 宜 春 人 碩 士 研 究 生 研 究 方 向 為 農(nóng) 業(yè) 裝 備 工 程 技 術(shù) E m ail 770351230 qq com 通 訊 作 者 薛 新 宇 女 1969 年 生 江 蘇 蘇 州 人 博 士 研 究 員 研 究 方 向 為 植 保 機 械 與 施 藥 工 程 技 術(shù) E m ail 735178312 qq com 中 國 農(nóng) 機 化 學(xué) 報 2025 年 的 準(zhǔn) 確 性 目 前 國 內(nèi) 外 關(guān) 于 果 園 植 保 機 器 人 的 自 主 導(dǎo) 航 研 究 取 得 了 許 多 成 果 賴 漢 榮 等 4 提 出 一 種 基 于 視 覺 的 感 興 趣 區(qū) 域 的 導(dǎo) 航 線 提 取 方 法 改 進 動 態(tài) R O I 區(qū) 域 劃 分 算 法 以 實 現(xiàn) 導(dǎo) 航 線 的 更 新 周 俊 等 5 將 利 用 視 覺 檢 測 并 獲 取 障 礙 物 的 方 向 和 距 離 信 息 基 于 模 糊 邏 輯 對 障 礙 物 方 向 和 距 離 進 行 處 理 得 到 導(dǎo) 航 路 徑 并 進 行 驗 證 李 會 賓 等 6 采 用 拓 展 卡 爾 曼 濾 波 算 法 優(yōu) 化 三 維 激 光 雷 達(dá) 點 云 數(shù) 據(jù) 結(jié) 合 差 速 模 型 和 純 跟 蹤 算 法 實 現(xiàn) 自 主 行 間 導(dǎo) 航 M alavazi 等 7 利 用 深 度 信 息 開 發(fā) 自 主 導(dǎo) 航 系 統(tǒng) 采 用 異 常 值 懲 罰 模 型 消 除 等 方 法 改 進 檢 測 障 礙 物 并 提 取 導(dǎo) 航 線 M ostafa 等 8 采 用 均 值 漂 移 算 法 對 圖 像 進 行 聚 類 劃 分 為 3 部 分 利 用 大 地 類 數(shù) 據(jù) 進 行 霍 夫 變 換 來 提 取 導(dǎo) 航 路 徑 S halal 等 9 提 出 一 種 基 于 相 機 和 激 光 雷 達(dá) 融 合 的 樹 干 檢 測 算 法 以 實 現(xiàn) 機 器 人 的 行 間 導(dǎo) 航 算 法 通 過 檢 測 并 區(qū) 分 樹 木 和 非 樹 木 目 標(biāo) 提 取 導(dǎo) 航 路 徑 韓 振 浩 等 10 使 用 U N et 語 義 分 割 獲 取 不 同 光 照 條 件 的 果 園 道 路 對 生 成 的 路 徑 進 行 多 段 擬 合 輸 出 果 園 導(dǎo) 航 路 徑 肖 珂 等 11 基 于 M ask R C N N 對 道 路 與 樹 干 進 行 識 別 提 取 道 路 和 樹 干 坐 標(biāo) 采 用 改 進 R A N S A C 算 法 提 取 前 排 樹 行 線 篩 選 后 排 樹 干 坐 標(biāo) 點 擬 合 生 成 后 排 樹 行 線 通 過 分 析 前 后 排 樹 行 信 息 判 斷 掉 頭 方 向 彭 順 正 等 12 針 對 矮 化 密 植 種 植 環(huán) 境 提 出 行 閾 值 分 割 和 行 間 區(qū) 域 方 法 將 目 標(biāo) 和 背 景 分 離 并 擬 合 道 路 左 右 兩 側(cè) 邊 緣 提 取 幾 何 中 心 點 生 成 導(dǎo) 航 基 準(zhǔn) 線 綜 上 所 述 當(dāng) 前 的 研 究 通 常 基 于 果 樹 干 樹 冠 層 果 園 地 面 獲 取 行 間 導(dǎo) 航 信 息 但 是 果 園 行 間 環(huán) 境 復(fù) 雜 特 征 信 息 提 取 難 度 大 果 園 行 間 導(dǎo) 航 精 度 不 足 控 制 決 策 算 法 的 復(fù) 雜 度 高 在 實 際 作 業(yè) 中 需 要 較 好 的 硬 件 支 持 無 法 滿 足 果 園 導(dǎo) 航 的 實 時 性 需 求 經(jīng) 過 對 國 內(nèi) 外 植 保 機 器 人 自 主 導(dǎo) 航 關(guān) 鍵 技 術(shù) 的 現(xiàn) 狀 分 析 針 對 蘋 果 園 特 點 設(shè) 計 一 種 基 于 視 覺 R T K 的 蘋 果 園 植 保 機 器 人 自 主 導(dǎo) 航 系 統(tǒng) 通 過 R T K 實 現(xiàn) 蘋 果 園 行 頭 行 尾 的 全 局 規(guī) 劃 通 過 視 覺 實 現(xiàn) 果 園 行 間 的 局 部 規(guī) 劃 從 而 實 現(xiàn) 蘋 果 園 植 保 機 器 人 在 果 園 行 間 的 航 向 控 制 并 能 夠 在 行 尾 和 地 頭 處 進 行 轉(zhuǎn) 彎 1 蘋 果 園 植 保 機 器 人 導(dǎo) 航 系 統(tǒng) 設(shè) 計 通 過 對 標(biāo) 準(zhǔn) 寬 行 矮 化 密 植 蘋 果 園 進 行 調(diào) 研 實 際 蘋 果 園 測 得 標(biāo) 準(zhǔn) 寬 行 矮 化 密 植 蘋 果 園 中 果 樹 的 株 距 為 1 5 2 0 m 行 距 為 3 5 5 0 m 如 圖 1 所 示 蘋 果 園 植 保 機 器 人 采 用 履 帶 底 盤 履 帶 底 盤 的 上 方 安 裝 固 定 導(dǎo) 航 控 制 柜 和 傳 感 器 支 架 導(dǎo) 航 控 制 柜 主 要 用 于 集 中 安 裝 并 實 現(xiàn) 隔 離 供 電 為 各 模 塊 提 供 安 全 防 護 傳 感 器 支 架 安 裝 在 導(dǎo) 航 控 制 柜 上 方 安 裝 部 署 感 知 模 組 便 于 根 據(jù) 實 地 蘋 果 園 場 景 調(diào) 節(jié) 傳 感 器 的 安 裝 高 度 和 角 度 便 于 收 集 信 息 圖 1 植 保 機 器 人 整 體 構(gòu) 成 示 意 圖 F ig 1 O verall diagram of plant protection robot 1 工 業(yè) 控 制 計 算 機 2 IM U 模 塊 3 圖 像 處 理 模 塊 4 司 南 導(dǎo) 航 模 塊 5 4G 工 業(yè) 路 由 器 6 電 源 模 組 7 雙 目 相 機 8 傳 感 器 支 架 9 R T K 從 天 線 10 履 帶 底 盤 遙 控 器 11 履 帶 底 盤 12 R T K 主 天 線 如 圖 2 所 示 蘋 果 園 植 保 機 器 人 的 導(dǎo) 航 系 統(tǒng) 由 感 知 模 組 決 策 模 組 執(zhí) 行 模 組 交 互 模 組 電 源 模 組 5 個 部 分 構(gòu) 成 其 中 交 互 模 組 為 操 作 人 員 了 解 植 保 機 器 人 的 實 時 運 行 情 況 電 源 模 組 為 各 個 模 組 提 供 獨 立 的 電 源 供 應(yīng) 圖 2 蘋 果 園 植 保 機 器 人 導(dǎo) 航 模 組 功 能 框 圖 F ig 2 F unctional block diagram of self leading aircraft m odule of plant protection robot 蘋 果 園 植 保 機 器 人 主 要 模 組 為 感 知 模 組 決 策 模 組 執(zhí) 行 模 組 感 知 模 組 包 括 視 覺 傳 感 器 和 R T K 模 塊 在 蘋 果 園 植 保 機 器 人 行 進 的 過 程 中 采 集 果 園 的 圖 像 信 息 和 R T K 信 息 決 策 模 組 包 括 工 業(yè) 計 算 機 和 圖 像 處 理 模 塊 系 統(tǒng) 為 U buntu 18 04 L S T 由 4G 工 業(yè) 路 由 器 連 接 各 個 模 組 并 進 行 相 互 通 信 決 策 模 組 實 時 控 制 植 保 機 器 人 的 運 動 狀 態(tài) 以 及 導(dǎo) 航 策 略 的 切 換 執(zhí) 行 模 組 控 制 相 關(guān) 執(zhí) 行 器 和 伺 服 控 制 器 調(diào) 整 植 保 機 器 人 履 帶 底 盤 運 行 狀 態(tài) 2 蘋 果 園 環(huán) 境 感 知 與 場 景 解 析 2 1 蘋 果 園 數(shù) 據(jù) 采 集 和 構(gòu) 建 數(shù) 據(jù) 集 蘋 果 園 數(shù) 據(jù) 采 集 的 主 要 地 點 為 山 東 省 煙 臺 市 大 戶 蘋 果 園 江 蘇 省 南 京 市 六 合 金 牛 湖 蘋 果 園 采 集 時 期 為 188 第 6 期 黃 鵬 飛 等 基 于 視 覺 R T K 的 蘋 果 園 植 保 機 器 人 自 主 導(dǎo) 航 研 究 2022 年 8 月 2023 年 10 月 采 集 不 同 標(biāo) 準(zhǔn) 寬 行 矮 化 密 植 蘋 果 園 的 行 間 圖 像 數(shù) 據(jù) 通 過 多 維 度 監(jiān) 測 蘋 果 樹 全 生 育 期 及 果 園 內(nèi) 果 樹 形 態(tài) 特 征 系 統(tǒng) 記 錄 不 同 光 照 條 件 下 的 生 長 狀 態(tài) 并 開 展 圖 像 采 集 工 作 13 滿 足 語 義 分 割 網(wǎng) 絡(luò) 的 特 征 提 取 訓(xùn) 練 需 求 試 驗 機 具 為 植 保 機 器 人 工 控 機 U buntu 18 04 L S T 系 統(tǒng) i7 12700H 內(nèi) 存 16 G B 固 態(tài) 硬 盤 2 T B 英 特 爾 R ealS ense D 435i R ealS ense D 455 雙 目 相 機 IM U 模 塊 R T K 模 塊 數(shù) 據(jù) 采 集 時 通 過 手 動 控 制 植 保 機 器 人 行 駛 在 蘋 果 園 行 間 啟 動 固 定 在 植 保 機 器 人 傳 感 器 支 架 上 的 雙 目 相 機 IM U 模 塊 R T K 模 塊 調(diào) 試 后 錄 制 數(shù) 據(jù) 包 從 收 集 蘋 果 園 行 間 的 30 000 張 圖 片 中 篩 選 并 分 類 選 取 800 張 圖 片 位 深 24 位 分 辨 率 1 280 像 素 720 像 素 進 行 數(shù) 據(jù) 集 制 作 采 用 L abelm e 工 具 對 圖 片 進 行 語 義 標(biāo) 注 根 據(jù) 研 究 目 標(biāo) 將 語 義 標(biāo) 簽 分 為 5 個 類 別 B ackground 背 景 R oad 蘋 果 園 路 面 S ky 天 空 S teel 蘋 果 樹 干 T runk 鋼 桿 為 防 止 訓(xùn) 練 過 程 出 現(xiàn) 過 擬 合 同 時 擴 充 訓(xùn) 練 集 樣 本 通 過 調(diào) 用 Im ageA ug 庫 對 訓(xùn) 練 集 圖 片 進 行 幾 何 變 換 亮 度 和 飽 和 度 變 換 高 斯 模 糊 等 數(shù) 據(jù) 增 強 手 段 14 使 得 圖 像 數(shù) 據(jù) 樣 本 更 加 豐 富 和 均 勻 有 效 增 強 模 型 魯 棒 性 2 2 模 型 訓(xùn) 練 結(jié) 果 和 預(yù) 測 效 果 根 據(jù) 蘋 果 園 語 義 分 割 的 實 時 性 和 準(zhǔn) 確 性 要 求 采 用 U N et 語 義 分 割 網(wǎng) 絡(luò) 框 架 并 使 用 V G G 16 的 預(yù) 訓(xùn) 練 模 型 權(quán) 重 選 擇 R estN et 作 為 主 干 網(wǎng) 絡(luò) 進 行 模 型 訓(xùn) 練 對 于 構(gòu) 建 的 數(shù) 據(jù) 集 隨 機 地 將 90 的 圖 像 劃 分 為 訓(xùn) 練 集 5 劃 分 為 驗 證 集 剩 余 的 5 作 為 測 試 集 U N et 語 義 分 割 模 型 的 訓(xùn) 練 參 數(shù) 如 表 1 所 示 表 1 模 型 訓(xùn) 練 參 數(shù) T ab 1 M odel training param eter 訓(xùn) 練 參 數(shù) 批 大 小 權(quán) 重 衰 減 數(shù) 值 8 0 000 5 訓(xùn) 練 參 數(shù) 初 始 學(xué) 習(xí) 率 迭 代 次 數(shù) 數(shù) 值 0 01 500 為 評 估 U N et 語 義 分 割 模 型 的 訓(xùn) 練 效 果 本 研 究 選 擇 平 均 交 并 比 m I o U 作 為 評 價 指 標(biāo) 通 過 計 算 m I o U 對 模 型 在 各 個 類 別 上 的 訓(xùn) 練 結(jié) 果 進 行 量 化 評 估 如 圖 3 所 示 m I o U 1 k 1 i 0 k p ii j 0 k p ij j 0 k p ji p ii 1 式 中 k 標(biāo) 簽 類 別 取 5 p ij 真 實 值 為 i 預(yù) 測 為 j 類 別 的 數(shù) 量 p ii 被 正 確 分 類 的 類 別 數(shù) 量 p ji 真 實 值 為 j 預(yù) 測 為 i 類 別 的 數(shù) 量 圖 3 U N e t 語 義 分 割 模 型 m I o U 平 均 交 并 比 F ig 3 U N et sem antic segm entation m odel m I o U intersection 如 圖 4 所 示 U N et 語 義 分 割 模 型 能 夠 清 晰 分 割 出 果 園 中 的 道 路 和 果 樹 區(qū) 域 蘋 果 園 路 面 的 識 別 率 約 為 95 蘋 果 園 天 空 的 識 別 率 約 為 90 表 現(xiàn) 出 較 好 的 語 義 分 割 性 能 使 用 高 準(zhǔn) 確 率 的 B ackground R oad S ky 作 為 導(dǎo) 航 線 提 取 的 語 義 信 息 在 語 義 分 割 的 模 型 評 價 指 標(biāo) 中 S teel 和 T runk 的 語 義 分 割 評 估 指 標(biāo) m I o U 較 低 主 要 原 因 1 目 標(biāo) 邊 緣 信 息 提 取 不 足 U N et 的 編 碼 器 encoder 逐 步 降 采 樣 輸 入 圖 像 易 捕 獲 多 尺 度 的 層 次 特 征 S teel 和 T runk 的 邊 緣 信 息 不 明 顯 U N et 無 法 有 效 提 取 這 些 細(xì) 節(jié) 10 2 訓(xùn) 練 集 標(biāo) 注 不 準(zhǔn) 確 標(biāo) 注 過 程 中 S teel 和 T runk 是 小 目 標(biāo) 標(biāo) 注 過 程 困 難 和 標(biāo) 注 結(jié) 果 不 準(zhǔn) 確 訓(xùn) 練 出 來 的 模 型 出 現(xiàn) 誤 差 15 從 而 影 響 分 割 效 果 3 環(huán) 境 中 的 影 響 在 實 際 環(huán) 境 中 的 環(huán) 境 光 照 震 動 因 素 干 擾 分 割 任 務(wù) 16 a 蘋 果 園 行 間 語 義 分 割 b 蘋 果 園 行 頭 語 義 分 割 圖 4 蘋 果 園 的 語 義 分 割 預(yù) 測 F ig 4 S em antic segm entation prediction of apple orchard 在 蘋 果 園 的 語 義 分 割 預(yù) 測 圖 中 R oad 蘋 果 園 路 面 S ky 天 空 要 素 分 割 效 果 較 好 S teel 蘋 果 樹 干 T runk 鋼 桿 要 素 分 割 出 現(xiàn) 較 為 明 顯 錯 誤 后 續(xù) 的 任 務(wù) 中 不 使 用 S teel 和 T runk 這 2 類 分 割 精 度 較 低 的 語 義 信 息 2 3 基 于 邊 緣 檢 測 的 導(dǎo) 航 線 提 取 如 圖 5 b 所 示 通 過 語 義 分 割 對 蘋 果 園 行 間 圖 像 提 取 語 義 信 息 B ackground 為 黑 色 區(qū) 域 R oad 為 灰 色 區(qū) 域 S ky 為 白 色 區(qū) 域 如 圖 5 c 所 示 選 取 3 個 類 型 中 的 最 大 連 通 區(qū) 域 的 邊 緣 線 段 即 黑 色 區(qū) 域 與 白 色 區(qū) 域 的 邊 緣 線 黑 色 區(qū) 域 與 灰 色 區(qū) 域 的 邊 緣 線 隨 后 調(diào) 用 高 斯 濾 波 器 對 提 取 的 邊 緣 線 段 進 行 平 滑 去 噪 后 如 圖 5 d 所 示 整 個 道 路 天 空 要 素 清 晰 背 景 要 素 消 除 了 干 擾 調(diào) 動 N um py 庫 的 N inspace 從 圖 5 d 的 邊 緣 線 中 均 勻 提 取 坐 標(biāo) 點 然 后 通 過 最 小 二 乘 法 擬 合 這 些 坐 標(biāo) 點 以 生 成 連 續(xù) 的 導(dǎo) 航 線 圖 6 a 為 植 保 機 器 人 在 蘋 果 園 中 通 過 雙 目 相 機 189 中 國 農(nóng) 機 化 學(xué) 報 2025 年 獲 取 的 當(dāng) 前 視 頻 幀 畫 面 平 均 幀 數(shù) 為 60 f s 圖 6 b 為 通 過 U N et 語 義 分 割 網(wǎng) 絡(luò) 對 畫 面 進 行 語 義 分 割 平 均 幀 數(shù) 為 12 f s 圖 6 c 為 應(yīng) 用 語 義 分 割 網(wǎng) 絡(luò) 提 取 圖 片 信 息 的 邊 緣 線 擬 合 出 導(dǎo) 航 線 平 均 幀 數(shù) 為 5 f s 在 圖 6 視 頻 畫 面 中 3 個 窗 口 的 視 頻 幀 有 一 定 程 度 延 遲 畫 面 不 一 致 的 情 形 a 蘋 果 園 行 間 圖 像 c 選 取 連 通 區(qū) 域 并 平 滑 去 噪 b 行 間 圖 像 語 義 信 息 提 取 d 優(yōu) 化 后 的 語 義 分 割 圖 像 圖 5 蘋 果 園 行 間 圖 像 的 語 義 分 割 處 理 F ig 5 S em antic segm entation of interline im age of apple orchard a 采 集 蘋 果 園 行 間 圖 像 c 邊 緣 線 擬 合 出 導(dǎo) 航 線 b 果 園 行 間 圖 像 語 義 分 割 圖 6 基 于 語 義 信 息 的 邊 緣 線 提 取 示 意 圖 F ig 6 E dge line extraction diagram based on sem antic inform ation 3 果 園 全 局 與 局 部 路 徑 規(guī) 劃 的 方 法 研 究 全 局 規(guī) 劃 通 常 是 作 為 事 前 規(guī) 劃 在 已 知 環(huán) 境 中 規(guī) 劃 路 徑 其 規(guī) 劃 精 度 取 決 于 環(huán) 境 獲 取 的 準(zhǔn) 確 度 全 局 規(guī) 劃 可 以 找 到 最 優(yōu) 解 然 而 當(dāng) 環(huán) 境 發(fā) 生 變 化 且 地 圖 未 及 時 更 新 時 該 方 法 效 果 一 般 不 能 達(dá) 到 預(yù) 期 效 果 17 因 此 在 動 態(tài) 環(huán) 境 中 需 要 結(jié) 合 局 部 規(guī) 劃 和 全 局 規(guī) 劃 來 實 現(xiàn) 更 加 靈 活 和 可 靠 的 路 徑 18 采 用 視 覺 R T K 組 合 導(dǎo) 航 避 免 在 蘋 果 園 行 內(nèi) R T K 定 位 信 號 遮 擋 導(dǎo) 致 的 定 位 誤 差 問 題 蘋 果 園 行 頭 行 尾 光 線 直 射 和 抖 動 等 因 素 導(dǎo) 致 語 義 分 割 模 型 失 效 致 使 植 保 機 器 人 無 法 獲 得 實 時 的 航 線 修 正 信 息 的 缺 陷 如 圖 7 所 示 針 對 標(biāo) 準(zhǔn) 寬 行 矮 化 蘋 果 園 的 特 點 采 用 視 覺 R T K 組 合 進 行 導(dǎo) 航 將 導(dǎo) 航 過 程 分 為 2 個 階 段 行 間 直 行 階 段 應(yīng) 用 U N et 語 義 分 割 網(wǎng) 絡(luò) 提 取 的 邊 緣 線 擬 合 出 導(dǎo) 航 線 通 過 判 斷 導(dǎo) 航 線 與 果 園 行 間 中 心 線 的 偏 航 狀 態(tài) 對 植 保 機 器 人 的 航 向 進 行 調(diào) 整 實 現(xiàn) 蘋 果 園 行 間 的 自 主 導(dǎo) 航 行 頭 行 尾 轉(zhuǎn) 彎 階 段 獲 取 當(dāng) 前 植 保 機 器 人 R T K 數(shù) 據(jù) 當(dāng) 前 R T K 解 為 高 精 度 的 固 定 解 且 與 預(yù) 設(shè) 的 R T K 全 局 目 標(biāo) 點 在 設(shè) 定 的 閾 值 范 圍 內(nèi) 時 19 判 斷 植 保 機 器 人 處 于 行 頭 行 尾 系 統(tǒng) 切 換 轉(zhuǎn) 彎 策 略 將 預(yù) 設(shè) 的 R T K 全 局 目 標(biāo) 點 設(shè) 置 為 植 保 機 器 人 的 目 標(biāo) 跟 蹤 點 當(dāng) 植 保 機 器 人 無 法 判 斷 自 身 情 況 時 其 會 關(guān) 閉 底 盤 驅(qū) 動 器 停 止 運 動 請 求 人 工 干 預(yù) 圖 7 路 徑 規(guī) 劃 程 序 流 程 F ig 7 F low chart of the path planning procedure 如 圖 8 所 示 點 0 1 2 3 4 5 6 為 已 通 過 的 預(yù) 設(shè) R T K 全 局 目 標(biāo) 點 點 7 8 9 為 未 通 過 的 預(yù) 設(shè) R T K 全 局 目 標(biāo) 點 預(yù) 設(shè) R T K 全 局 目 標(biāo) 點 按 弓 字 形 的 路 徑 順 序 錄 入 系 統(tǒng) 文 件 中 確 保 植 保 機 器 人 按 照 順 序 經(jīng) 過 這 些 全 局 目 標(biāo) 點 在 行 頭 行 尾 的 轉(zhuǎn) 彎 階 段 獲 取 當(dāng) 前 植 保 機 器 人 R T K 定 位 數(shù) 據(jù) R T K 有 幾 種 不 同 的 解 狀 態(tài) 固 定 解 是 最 準(zhǔn) 確 的 定 位 結(jié) 果 而 浮 點 解 和 單 點 解 的 精 度 相 對 較 低 無 效 解 表 示 無 法 獲 得 可 用 的 定 位 結(jié) 果 當(dāng) 前 R T K 解 為 高 精 度 的 固 定 解 且 與 預(yù) 設(shè) 的 R T K 全 局 目 標(biāo) 點 在 設(shè) 定 的 閾 值 范 圍 內(nèi) 時 判 斷 植 保 機 器 人 處 于 行 頭 行 尾 系 統(tǒng) 切 換 轉(zhuǎn) 彎 策 略 距 離 閾 值 設(shè) 置 為 3 m 圖 8 果 園 路 徑 規(guī) 劃 示 意 圖 F ig 8 S chem atic diagram of orchard path planning 如 圖 8 所 示 的 直 線 路 徑 點 6 點 7 的 路 徑 為 植 保 機 器 人 正 在 進 行 的 基 于 視 覺 局 部 規(guī) 劃 的 路 徑 在 行 間 直 行 階 段 應(yīng) 用 U N et 語 義 分 割 網(wǎng) 絡(luò) 提 取 的 邊 緣 線 擬 190 第 6 期 黃 鵬 飛 等 基 于 視 覺 R T K 的 蘋 果 園 植 保 機 器 人 自 主 導(dǎo) 航 研 究 合 出 導(dǎo) 航 線 通 過 判 斷 導(dǎo) 航 線 與 果 園 行 間 中 心 線 的 偏 航 狀 態(tài) 對 植 保 機 器 人 的 航 向 進 行 調(diào) 整 實 現(xiàn) 蘋 果 園 行 間 的 自 主 導(dǎo) 航 若 果 園 植 保 機 器 人 行 駛 到 最 后 一 個 R T K 全 局 目 標(biāo) 點 即 點 10 為 終 止 點 則 導(dǎo) 航 結(jié) 束 4 試 驗 結(jié) 果 及 分 析 為 驗 證 蘋 果 園 植 保 機 器 人 自 動 導(dǎo) 航 系 統(tǒng) 的 性 能 和 精 度 進 行 蘋 果 園 弓 字 形 路 徑 規(guī) 劃 軌 跡 試 驗 此 試 驗 旨 在 評 估 機 器 人 在 果 園 復(fù) 雜 環(huán) 境 中 的 導(dǎo) 航 能 力 并 對 試 驗 結(jié) 果 及 誤 差 進 行 分 析 試 驗 選 定 山 東 省 煙 臺 大 戶 蘋 果 園 121 842 E 37 436 N 如 圖 9 a 所 示 該 果 園 位 于 山 地 地 形 上 布 局 相 對 統(tǒng) 一 試 驗 中 使 用 R T K 模 塊 標(biāo) 記 需 要 進 行 植 保 作 業(yè) 的 區(qū) 域 并 明 確 定 義 了 作 業(yè) 的 起 始 點 和 終 點 試 驗 路 徑 分 為 行 間 直 行 階 段 和 行 頭 行 尾 轉(zhuǎn) 彎 階 段 如 圖 9 b 所 示 路 徑 規(guī) 劃 旨 在 確 保 機 器 人 有 效 覆 蓋 果 園 內(nèi) 的 果 樹 行 同 時 保 持 路 徑 的 連 續(xù) 性 和 平 滑 性 使 機 器 人 能 夠 在 果 樹 行 之 間 來 回 穿 梭 a 植 保 機 器 人 果 園 自 主 導(dǎo) 航 試 驗 圖 b 路 徑 軌 跡 示 意 圖 圖 9 蘋 果 園 弓 字 形 路 徑 規(guī) 劃 軌 跡 示 意 圖 F ig 9 S chem atic diagram of the path planning trajectory of the orchard bow shape 1 收 集 實 際 數(shù) 據(jù) 首 先 收 集 蘋 果 園 的 實 際 地 形 和 布 局 數(shù) 據(jù) 包 括 果 樹 位 置 行 間 距 離 樹 與 樹 的 間 隙 園 區(qū) 邊 界 等 信 息 對 收 集 到 的 數(shù) 據(jù) 進 行 分 析 了 解 果 園 的 布 局 特 點 例 如 是 否 存 在 不 規(guī) 則 形 狀 的 果 樹 行 行 間 距 是 否 均 勻 以 及 路 徑 上 是 否 有 遮 擋 物 等 情 況 2 制 定 路 徑 規(guī) 劃 策 略 基 本 航 線 是 由 無 人 機 航 拍 的 底 圖 根 據(jù) 樹 影 進 行 航 空 規(guī) 劃 如 圖 8 所 示 確 定 合 適 的 起 始 點 終 點 和 轉(zhuǎn) 折 點 考 慮 果 樹 的 排 列 方 式 和 行 間 距 離 避 開 障 礙 物 等 因 素 3 實 地 驗 證 和 調(diào) 整 在 實 際 果 園 環(huán) 境 中 進 行 路 徑 規(guī) 劃 軌 跡 的 實 地 驗 證 規(guī) 劃 的 軌 跡 是 否 符 合 預(yù) 期 是 否 避 開 了 障 礙 物 和 避 免 碰 撞 果 樹 根 據(jù) 驗 證 結(jié) 果 對 參 數(shù) 進 行 調(diào) 整 和 優(yōu) 化 4 如 圖 10 所 示 標(biāo) 準(zhǔn) 寬 行 矮 化 密 植 蘋 果 園 的 實 地 測 量 數(shù) 據(jù) 顯 示 果 樹 行 的 行 長 為 60 m 蘋 果 樹 株 距 為 1 5 2 0 m 行 距 為 3 5 5 0 m 該 規(guī) 劃 將 導(dǎo) 航 過 程 分 為 兩 個 階 段 蘋 果 園 的 行 頭 和 行 尾 轉(zhuǎn) 彎 階 段 的 運 動 軌 跡 以 傾 斜 線 段 表 示 行 間 直 行 階 段 的 運 動 軌 跡 則 用 橫 向 線 段 表 示 圖 1 0 蘋 果 園 弓 字 形 植 保 機 器 人 預(yù) 定 軌 跡 和 運 行 軌 跡 F ig 10 P redeterm ined trajectory and running trajectory of orchard bow shaped plant protection robot 在 標(biāo) 準(zhǔn) 寬 行 矮 化 密 植 蘋 果 園 弓 字 形 自 主 導(dǎo) 航 試 驗 中 進 行 初 步 的 實 地 測 試 試 驗 中 植 保 機 器 人 的 行 駛 速 度 設(shè) 定 為 1 0 m s 同 時 利 用 IM U 記 錄 車 輛 的 運 行 狀 態(tài) 通 過 設(shè) 定 機 器 人 的 預(yù) 定 路 徑 并 在 實 地 運 行 中 提 取 實 際 路 徑 進 行 預(yù) 定 路 徑 與 實 際 路 徑 的 對 比 分 析 在 植 保 機 器 人 運 行 過 程 中 通 過 每 秒 一 次 取 樣 對 比 預(yù) 定 路 徑 和 實 際 提 取 路 徑 的 橫 向 誤 差 以 計 算 和 評 估 導(dǎo) 航 精 度 利 用 IM U 測 量 植 保 機 器 人 的 橫 向 實 際 導(dǎo) 航 誤 差 即 機 器 人 實 際 行 駛 路 徑 與 預(yù) 定 路 徑 之 間 的 偏 差 如 圖 11 所 示 試 驗 中 設(shè) 定 植 保 機 器 人 以 1 0 m s 的 速 度 進 行 導(dǎo) 航 基 于 U N et 的 視 覺 導(dǎo) 航 試 驗 中 平 均 橫 向 偏 差 為 0 5 m 最 大 偏 差 達(dá) 到 0 9 m 而 基 于 R T K 的 全 局 規(guī) 劃 試 驗 中 平 均 橫 向 偏 差 僅 為 0 1 m 最 大 偏 差 為 0 3 m 圖 1 1 蘋 果 園 植 保 機 器 人 自 主 導(dǎo) 航 試 驗 的 橫 向 誤 差 F ig 11 L ateral error diagram of autonom ous navigation experim ent of plant protection robot in apple orchard 5 結(jié) 論 1 當(dāng) 前 蘋 果 園 自 主 導(dǎo) 航 研 究 國 內(nèi) 外 主 流 研 究 通 常 基 于 果 樹 干 樹 冠 層 果 園 地 面 獲 取 行 間 導(dǎo) 航 信 息 但 是 果 園 行 間 環(huán) 境 復(fù) 雜 特 征 信 息 提 取 難 度 大 果 園 行 間 導(dǎo) 航 精 度 不 足 控 制 決 策 算 法 的 復(fù) 雜 度 高 采 用 視 覺 R T K 組 合 導(dǎo) 航 的 方 式 導(dǎo) 航 任 務(wù) 分 為 2 個 部 分 行 間 直 行 階 段 應(yīng) 用 U N et 語 義 分 割 網(wǎng) 絡(luò) 提 取 的 邊 緣 線 擬 合 出 導(dǎo) 航 線 進 行 行 間 的 自 主 導(dǎo) 航 行 頭 行 尾 轉(zhuǎn) 彎 階 段 通 過 R T K 全 局 定 位 點 對 植 保 機 器 人 運 動 軌 跡 進 行 控 制