基于ORB-SLAM2的溫室移動機器人定位研究_李旭.pdf

農(nóng) 業(yè) 機 械 學(xué) 報 第 55卷 增刊1 2 0 2 4年 12月 基于ORB SLAM2的溫室移動機器人定位研究 李 旭 1 2 陽奧凱 1 劉 青 1 伍碩祥 1 劉大為 3 4 鄔 備 1 2 謝方平 3 4 1 湖南農(nóng)業(yè)大學(xué)機電工程學(xué)院 長沙 410128 2 湖南省智能農(nóng)機裝備重點實驗室 長沙 410128 3 農(nóng)業(yè)農(nóng)村部 南方智能育秧 苗 重點實驗室 益陽 413055 4 湖南省智能育秧育苗裝備工程技術(shù)研究中心 益陽 413055 摘要 針對溫室內(nèi)道路環(huán)境復(fù)雜 且溫室移動機器人無法使用GNSS進行定位的問題 本文開展了基于ORB SLAM2的溫 室定位研究 首先 對Realsense D455型深度相機獲取的溫室彩色圖像和深度信息進行預(yù)處理 通過圖像金字塔和灰度質(zhì) 心法實現(xiàn)ORB特征的尺度和旋轉(zhuǎn)不變性 完成精確有效的特征點匹配 其次 利用跟蹤線程參考關(guān)鍵幀跟蹤 勻速模型跟 蹤和重定位跟蹤進行粗定位 再使用局部地圖跟蹤進行精定位 實現(xiàn)對相機位姿的精確求解 再次 結(jié)合局部建圖線程 在完成關(guān)鍵幀插入 近期地圖點篩選 新地圖點篩選 新地圖點重建 局部BA優(yōu)化和局部關(guān)鍵幀篩選的基礎(chǔ)上 應(yīng)用共 視圖方法建立地圖點 最后 結(jié)合閉環(huán)線程 通過候選回環(huán) 計算相似變換 回環(huán)融合和位姿圖優(yōu)化對全圖地圖進行回環(huán) 修正 從而實現(xiàn)溫室內(nèi)的實時定位與建圖 選取辣椒生長初期 中期和成熟期3種不同作物生長期的溫室進行實機測試 算法生成的軌跡與實際軌跡基本契合 X軸的均方根誤差分別為0 686 2 0 355 0 0 492 5 m 平均絕對誤差分別為0 588 3 0 293 7 0 455 4 m Z軸的均方根誤差分別為0 149 7 0 071 8 0 368 6 m 平均絕對誤差分別為0 098 6 0 046 4 0 282 5 m 試驗結(jié)果表明該方法可為溫室移動機器人的定位與導(dǎo)航提供技術(shù)支撐 關(guān)鍵詞 溫室 機器人 建圖 定位 深度相機 ORB SLAM2 中圖分類號 S24 文獻標識碼 A 文章編號 1000 1298 2024 S1 0317 08 Greenhouse Mobile Robot Localization Based on ORB SLAM2 LI Xu 1 2 YANG Aokai 1 LIU Qing 1 WU Shuoxiang 1 LIU Dawei 3 4 WU Bei 1 2 XIE Fangping 3 4 1 College of Mechanical and Electrical Engineering Hunan Agricultural University Changsha 410128 China 2 Hunan Key Laboratory of Intelligent Agricultural Machinery Equipment Changsha 410128 China 3 Key Laboratory of Intelligent Seedling Cultivation Ministry of Agriculture and Rural Affairs Yiyang 413055 China 4 Hunan Research Center of Engineering Technology for Intelligent Seedling Equipment Yiyang 413055 China Abstract Aiming at the complex road environment in greenhouse and the problem that greenhouse mobile robots cannot use GNSS for localization research and experiments on greenhouse localization were carried out based on ORB SLAM2 Firstly the color image and depth information of greenhouse acquired by the depth camera Realsense D455 were preprocessed and the scale and rotation invariance of ORB features was achieved by the image pyramid and grayscale center of mass method to complete accurate and effective feature point matching Secondly coarse localization was done by using tracking thread reference key frame tracking homogeneous model tracking and repositioning tracking and then fine localization was done by using local map tracking to achieve an accurate solution for the camera pose Thirdly combining with the local map building thread applying the common view method to build up the map points based on the completion of the key frame insertion the recent map point screening the new map point screening the new map point reconstruction the local BA optimization and the local key frame screening Finally combined with the closed loop thread the full map was corrected by loopback correction through the candidate loopback computation of similarity transformation loopback fusion and position map optimization so as to realize the greenhouse in the real time localization and map building Three greenhouses with different crop growth conditions in the early middle and maturity stages of pepper growth were selected for real machine testing and the trajectories generated by the algorithm basically matched doi 10 6041 j issn 1000 1298 2024 S1 034 收稿日期 2024 07 29 修回日期 2024 09 30 基金項目 國家重點研發(fā)計劃項目 2021YFD1600300 4 06 2020YFD1000300 作者簡介 李旭 1981 男 副教授 博士 主要從事農(nóng)業(yè)裝置智能控制技術(shù)研究 E mail leexu 通信作者 劉大為 1983 男 副教授 博士 主要從事蔬菜生產(chǎn)全程機械化技術(shù)與裝備研究 E mail liudawei8361 農(nóng) 業(yè) 機 械 學(xué) 報 2 0 2 4年 the actual trajectories with the root mean square errors on the X axis of 0 686 2 m 0 355 0 m 0 492 5 m and the average absolute errors of 0 588 3 m 0 293 7 m and 0 455 4 m respectively and on the Z axis of 0 149 7 m 0 071 8 m 0 368 6 m and the average absolute errors of 0 098 6 m 0 046 4 m and 0 282 5 m respectively The experimental results showed that the method could provide technical support for the localization and navigation of greenhouse mobile robots Key words greenhouses robot mapping localization depth camera ORB SLAM2 0 引言 溫室是一種用于種植作物的生產(chǎn)設(shè)施 可以提高生 產(chǎn)效率和品質(zhì) 2022年我國溫室面積約為186 2萬公 頃 1 隨著科技進步和農(nóng)業(yè)生產(chǎn)技術(shù)不斷發(fā)展 智能化 溫室裝備成為研究熱點 2 由于溫室作業(yè)環(huán)境溫度和 濕度高 且作業(yè)勞動強度大 3 溫室移動機器人在近年 來的研究和應(yīng)用中取得了顯著進展 4 溫室內(nèi)環(huán)境感知 是溫室移動機器人實現(xiàn)導(dǎo)航和開展自主作業(yè)的關(guān)鍵 國內(nèi)外學(xué)者圍繞鋪設(shè)軌道 循跡式和基于SLAM技 術(shù)的多源信息融合式3種技術(shù)開展了溫室移動機器人的 定位與導(dǎo)航研究 5 OIKAWA等 6 提出一種預(yù)先獲取 農(nóng)作物的位置 提前鋪設(shè)軌道 溫室機器人根據(jù)軌道運 動并進行藥劑噴灑作業(yè)的方法 該方法實現(xiàn)了精確有效 的噴灑作業(yè)且節(jié)省了時間 提高了效率 袁挺等 7 在硬 化且表面附著有浮土 泥塊 植物殘留物的水泥地路面 中央鋪設(shè)紅色引導(dǎo)線來提供引導(dǎo)信息 利用光照色彩穩(wěn) 定性有效提取導(dǎo)航路徑信息 導(dǎo)航線平均識別率達 93 9 賈士偉等 8 提出了一種基于激光測距儀的溫室 移動機器人道路邊緣檢測和導(dǎo)航算法 利用道路區(qū)域與 作物區(qū)域的表面平整度差異實現(xiàn)道路邊緣檢測 利用基 準道路寬度幫助剔除偽道路區(qū)域 進而生成導(dǎo)航調(diào)速控 制指令 機器人偏離道路中心線的平均值為 1 270 7 cm 均方誤差為2 677 2 侯加林等 9 使用激光雷達與 Cartographer算法結(jié)合實現(xiàn)了在溫室環(huán)境下的二維柵格 地圖構(gòu)建與機器人實時定位功能 車載系統(tǒng)分別以0 2 0 5 0 8 m s的速度運行時 實際導(dǎo)航路徑與目標路徑的 平均偏差小于13 cm 標準差小于5 cm 吳雄偉等 10 提 出了一種基于無監(jiān)督光流的視覺里程估計方法 通過引 入局部幾何一致性約束和優(yōu)化光流網(wǎng)絡(luò)結(jié)構(gòu) 并使用金 字塔層間知識自蒸餾技術(shù) 使得溫室移動機器人在位姿 跟蹤中的相對位移誤差降低9 80 TAN等 11 提出了 一種基于多線激光雷達和自適應(yīng)濾波點云投影 AF PCP SLAM算法的溫室地圖構(gòu)建方法 該方法利用 Cartographer框架 改進了地圖構(gòu)建和定位精度 試驗表 明 AF PCP算法繪圖面積比Cartographer算法提高 155 7 顯著降低了作物行長度誤差和空隙長度 同時 定位誤差降低79 9 綜合研究現(xiàn)狀 鋪設(shè)軌道式和循 跡式具有可靠性強和穩(wěn)定性好的優(yōu)點 但會改變原有的 環(huán)境結(jié)構(gòu) 缺少靈活性 限制了移動機器人的作業(yè)范圍 基于SLAM技術(shù)的多源數(shù)據(jù)融合通過激光雷達 12 相 機 13 慣性傳感器 14 等多種傳感器信息實現(xiàn)自主導(dǎo)航 該方法不需要人為鋪設(shè)軌道和路標 節(jié)約了人力物力成 本 保護了現(xiàn)場環(huán)境 移動機器人作業(yè)更靈活 本文為實現(xiàn)移動機器人在作物生長密集 空間狹窄 和道路起伏的溫室內(nèi)定位和導(dǎo)航 采用RGB D深度相 機開展基于ORB SLAM2算法的溫室建圖與實時定位研 究 以期為溫室移動機器人的自主作業(yè)提供技術(shù)支撐 1 溫室內(nèi)ORB SLAM2建圖與定位方法 1 1 算法框架 ORB SLAM2算法 15 是一種基于特征點的視覺 SLAM算法 該算法在ORB SLAM 16 純單目系統(tǒng)的基礎(chǔ) 上添加了對雙目和RGB D相機的支持 同時增加了用 于專門處理雙目和RGB D數(shù)據(jù)的輸入與處理模塊 并 且在原有跟蹤線程 局部建圖線程和閉環(huán)線程的基礎(chǔ)上 增加了全局BA優(yōu)化線程 ORB SLAM2系統(tǒng)框架如圖1 所示 ORB SLAM2算法從輸入圖像中提取ORB特征點 Oriented FAST and rotated BRIEF 通過特征匹配估計 相機的相對位姿 單目相機使用運動恢復(fù)結(jié)構(gòu) Structure from motion SfM 進行初始化 而雙目和 RGB D相機則直接利用深度信息生成三維點云并構(gòu)建 初始地圖 在實時追蹤過程中 ORB SLAM2根據(jù)上一 幀的位姿預(yù)測當(dāng)前幀的位姿 通過特征點與局部地圖的 匹配修正位姿 同時 算法根據(jù)一定判定條件選擇生成 并插入關(guān)鍵幀 利用三角測量方法生成新的三維地圖 點 回環(huán)檢測通過詞袋模型查找與當(dāng)前幀相似的先前 關(guān)鍵幀 識別是否存在回環(huán) 并通過姿態(tài)圖優(yōu)化消除漂 移誤差 全局BA Bundle adjustment 進一步優(yōu)化整個 地圖的相機位姿與三維點位置 確保全局地圖的一致性 和高精度的定位 1 2 視覺理論基礎(chǔ) 豐富的圖像信息是溫室高精度定位與稠密地圖構(gòu) 建的基礎(chǔ) 本文選用Realsense D455型深度相機來獲取 溫室的環(huán)境圖像信息 如圖2所示 搭載在移動機器人 上的相機在位姿1 位姿2 位姿N處獲取溫室的路標 點y 1 y 2 y n 的環(huán)境信息 17 系統(tǒng)根據(jù)視覺SLAM算法 來處理獲取到的圖像數(shù)據(jù) 根據(jù)相機的運動方程和觀測 方程來估計相機的位姿 再通過坐標系轉(zhuǎn)換關(guān)系確定移 動機器人的位姿信息 實現(xiàn)精準定位 318 增刊1 李旭 等 基于ORB SLAM2的溫室移動機器人定位研究 深度相機的運動方程為 x k f x k 1 u k w k 1 其觀測方程為 z k j h y j x k v k j 2 式中 x k 相機k時刻位置 u k 測量k時刻數(shù)據(jù) w k 測量k時刻噪聲 y j 相機觀測到的路標點 v k j 觀測k時刻路標點噪聲 z k j 相機在x k 處對路標點y j 的觀測數(shù)據(jù) 1 2 1 特征點提取 跟蹤線程是ORB SLAM2系統(tǒng)的主線程 每幀圖像 從相機輸入到跟蹤線程都要進行特征點提取 特征點提 取過程如圖3所示 18 為了減少計算量 原始圖像需要 通過灰度變換 在灰度圖像上選取一個像素點P x 0 y 0 以像素點P為中心 選取半徑為r的圓周上16個像 素點為領(lǐng)域 并設(shè)置閾值 若這16個像素點中有連續(xù) 12個點滿足 x i y i x 0 y 0 3 式中 x i y i 點 x i y i 的像素值 則認為這個點為FAST特征點 為了使特征點具有旋轉(zhuǎn) 不變性 需要計算出這個領(lǐng)域的灰度質(zhì)心m來作為權(quán)重 中心 19 在一個圖像塊B中 定義圖像塊的矩為 m pq x y B x p y q I x y p q 0 1 4 通過矩找到灰度質(zhì)心 m m 10 m 00 m 01 m 00 5 中心點P到灰度質(zhì)心m的方向則為特征點的方向 最終 得到oFAST特征點 同時構(gòu)建圖像金字塔實現(xiàn)對不同尺度的圖像處理 從而提升特征點匹配的效率和魯棒性 提高算法在各種 1 2 P 3 4 5 6 7 8910 11 12 13 14 15 16 m 圖3 oFAST特征提取過程 Fig 3 oFAST feature extraction process 普通幀 雙目 或RGB D 輸入預(yù)處理 位姿預(yù)測 局部地圖追蹤 新關(guān) 鍵幀挑選 關(guān)鍵幀插入 近期 地圖點插入 新地 圖云點重建 局部 BA優(yōu)化 局部關(guān)鍵幀篩選 位姿圖優(yōu)化 回環(huán)融合 計算轉(zhuǎn)移矩陣 查詢數(shù)據(jù)庫 回環(huán)修正 回環(huán)檢測 全局 BA優(yōu)化地圖更新 全局 BA優(yōu)化線程 視覺詞袋 識別數(shù)據(jù)庫 位置識別 生成樹共視關(guān)系圖 地圖云點 關(guān)鍵幀 地圖結(jié)構(gòu) 跟蹤線程 局 部 建 圖 線 程 閉環(huán)線程 圖1 ORB SLAM2系統(tǒng)框架圖 Fig 1 System framework diagram of ORB SLAM2 y 1 y 2 y 3 y 4 3 2 1 圖2 溫室環(huán)境下相機運動狀態(tài) Fig 2 Camera motion state in greenhouse environment 319 農(nóng) 業(yè) 機 械 學(xué) 報 2 0 2 4年 環(huán)境下的表現(xiàn) 構(gòu)建圖像金字塔如圖4所示 不同尺度 圖像進行融合可以獲得更多的特征點 因此對同一圖像 按照相同的比例進行擴大或者縮小 金字塔面積隨著金 字塔層數(shù)的增加而減小 所能提取到的特征點數(shù)量也 越少 假設(shè)第0層圖像尺寸為L b 則第k層分配的特征 點數(shù)為 N k N 1 s 2 1 s 2n s 2k 0 s 1 6 式中 N 特征點總數(shù) s 縮放因子 n 金字塔圖層數(shù) N k 第k層分配的特征點數(shù) 1 2 2 局部地圖構(gòu)建 如何獲取更精確的溫室地圖信息是本文研究的重點 內(nèi)容之一 ORB SLAM2算法中跟蹤線程挑選出來的關(guān)鍵 幀會存放在一個緩沖區(qū)內(nèi)等待著局部建圖線程對其進行 處理 20 首先在詞袋模型中計算出表征向量 詞袋模型 將關(guān)鍵幀更新到詞袋模型的在線數(shù)據(jù)庫中 隨后將地圖 中有共視關(guān)系但沒有與該幀建立映射的點云建立關(guān)聯(lián) 接著計算該關(guān)鍵幀與地圖點已有關(guān)鍵幀的共視連接權(quán) 重 以將該關(guān)鍵幀添加到共視關(guān)系圖中 最后將該關(guān)鍵幀 添加到地圖結(jié)構(gòu)中 完成關(guān)鍵幀的插入 在插入關(guān)鍵幀 的過程中 需要保留一些近期地圖點 剔除質(zhì)量差的點 云 對于每個新插入的關(guān)鍵幀 借助共視圖關(guān)系與鄰近 的關(guān)鍵幀進行匹配 將該新關(guān)鍵幀中還未映射到地圖點 的特征點進行三角化重建 以生成新的地圖點 相機成 像和地圖點觀測原理如圖5針孔相機模型所示 21 空間上的一點P通過一個小孔將外部光線投影到 圖像平面上 形成倒立的二維圖像 通過三角形相似變 換 物理成像坐標系與像素坐標系的轉(zhuǎn)換關(guān)系 將世界 坐標系中的三維點通過相機的外參轉(zhuǎn)換到相機坐標系 然后利用內(nèi)參進行投影 生成圖像坐標 轉(zhuǎn)換關(guān)系式為 Z u v 1 f x 0 C x 0 f y C y 0 0 1 X Y Z KP 7 式中 u v 像素坐標 Z 該點在相機坐標系下深度 X Y 世界坐標系下水平垂直方向的空間坐 標軸 C x C y 相機成像的主點坐標 f x f y 相機焦距 K 相機的內(nèi)參數(shù)矩陣 P 該點在相機坐標系下坐標 由于相機是運動的 所以需要一個世界坐標系來描 述相機和物體的位置 設(shè)該點在相機坐標系下的坐標 為P c 在世界坐標系下的坐標為P w 則坐標P c 是由坐標 P w 通過旋轉(zhuǎn)矩陣R和平移向量t得到的 則二者的轉(zhuǎn)換 關(guān)系式為 Z u v 1 K RP W t KTP w 8 式中 T 變換矩陣 為了完成溫室三維環(huán)境的構(gòu)建 需要溫室空間點的 深度即距離信息 深度相機相比于單目 雙目相機具有 主動測量圖像深度的優(yōu)勢 按照測量原理可以分為紅外 結(jié)構(gòu)光和TOF Time of flight 本文所選用的Realsense D455型深度相機采用的是TOF原理測量圖像深度 原 理示意如圖6所示 通過連續(xù)發(fā)射光脈沖 一般為不可見 光 到被測物體上 然后接收從物體反射回去的光脈沖 通過探測光脈沖的飛行 往返 時間來計算被測物體離 相機的距離 為光脈沖飛行的時間乘以光脈沖飛行速度 的一半 第 0層 第 1層 第 2層 第 3層 第 4層 圖4 圖像金字塔 Fig 4 Image pyramid X null null Z null Y X Y 相機坐標系 Oxyz O B A P P null Z X X 相似三角形 O W X W Y W Z W 世界坐標系 物理成像平面 像素平面 光心O M f焦距 圖5 針孔相機模型 Fig 5 Pinhole camera model 發(fā)射器 檢測器 物體 距離 圖6 TOF原理示意圖 Fig 6 TOF principle schematic 320 增刊1 李旭 等 基于ORB SLAM2的溫室移動機器人定位研究 當(dāng)緩沖區(qū)的關(guān)鍵幀都被處理完后 則將當(dāng)前幀局部 的幾個關(guān)鍵幀以及地圖點放入局部BA中進行優(yōu)化 局 部BA優(yōu)化完成后對局部地圖中的關(guān)鍵幀進行篩選 剔 除冗余的關(guān)鍵幀 22 通過處理關(guān)鍵幀 建立共視關(guān)系 生成新的地圖點并進行局部優(yōu)化來增強地圖的精度和 一致性 1 2 3 回環(huán)修正 由于位置估計隨著時間的變化會產(chǎn)生漂移 23 為了 糾正這種累計誤差 ORB SLAM2算法通過閉環(huán)線程來 減少累計的定位誤差并優(yōu)化全局地圖 在局部建圖線 程中 篩選出來最后保留在地圖中的關(guān)鍵幀都會被送到 閉環(huán)線程中 通過詞袋模型 將數(shù)據(jù)庫中與當(dāng)前幀相似 度較高的幀挑選出來作為候選回環(huán)幀 再計算當(dāng)前幀與 候選回環(huán)幀之間的變換關(guān)系 在ORB SLAM2算法的閉 環(huán)檢測過程中 相似變換 Similarity transformation 用于 計算相機位姿和地圖點之間的關(guān)系 以修正由于漂移引 起的誤差 24 26 在閉環(huán)檢測中 系統(tǒng)會識別出相機在新 的幀與舊的關(guān)鍵幀之間的相似場景 這時需要通過相似 變換來校正這些關(guān)鍵幀的相對位置和姿態(tài) 通過計算得 到旋轉(zhuǎn)矩陣R 縮放因子s 以及平移向量t 可以構(gòu)造出 最終的相似變換 將不同幀之間的地圖點變換到同一坐 標系中 相似變換表示為 p i sRp i t 9 其中p i p i 表示不同幀之間對應(yīng)的同一組地圖點 如果通過計算得到變換關(guān)系并且二者之間有足夠 多的共視點 則認為回環(huán)檢測成功 通過回環(huán)融合修正 當(dāng)前關(guān)鍵幀與獲選回環(huán)幀及其鄰近關(guān)鍵幀的累計誤差 最后通過全局優(yōu)化來修正與當(dāng)前關(guān)鍵幀無共視關(guān)系的 幀 提升地圖的全局一致性和定位精度 2 試驗與分析 為驗證基于ORB SLAM2的溫室機器人定位的性能 和應(yīng)用效果 結(jié)合溫室移動機器人在真實場景開展實機 測試 試驗場景如圖7所示 試驗平臺計算機為 NVIDIA Jetson nano開發(fā)套件 操作系統(tǒng)為Ubuntu 18 04 采用的相機為Relsense D455型深度相機 相機外 部參數(shù)和標定后的內(nèi)部參數(shù)分別如表1和表2所示 2 1 ORB SLAM2算法在溫室應(yīng)用性能評估 實機測試在湖南農(nóng)業(yè)大學(xué)辣椒溫室進行 將ORB SLAM2算法在溫室機器人的移動底盤上進行測試 選取 如圖8所示不同生長期的3個辣椒溫室各規(guī)劃一條矩形 閉環(huán)路徑進行試驗 根據(jù)特征點捕捉效果 關(guān)鍵幀數(shù)量 點云生成數(shù)量以及處理每幀所需時間等測試算法的應(yīng) 用性能 不同辣椒生長期算法特征點捕捉效果如圖9所示 圖中的綠色框代表算法捕捉的特征點 從圖9中可以看 圖7 溫室移動機器人作業(yè)場景 Fig 7 Greenhouse mobile robot operation scene 表1 相機外部參數(shù) Tab 1 Camera external parameters 參數(shù) 數(shù)值 外形尺寸 mm mm mm 124 26 29 深度 m 0 6 6 深度 FOV 87 58 彩色 FOV 90 H 65 V 深度幀 率 f s 1 30 彩色幀 率 f s 1 30 表2 相機內(nèi)部參數(shù) Tab 2 Internal camera parameters 參數(shù) 數(shù)值 內(nèi)參矩陣 384 255 6 0 326 467 9 0 385 990 9 241 153 0 0 0 1 畸變參數(shù) K 1 0 050 4 K 2 0 046 8 P 1 0 P 2 0 重投影平均誤差 0 208 5 a 初期 b 中期 c 成熟期 圖8 辣椒不同生長期場景 Fig 8 Scenarios for different growth periods of chili peppers 321 農(nóng) 業(yè) 機 械 學(xué) 報 2 0 2 4年 出 深度相機下的ORB SLAM2算法在不同作物長勢的 情況下均可以達到良好的特征點提取和匹配效果 并且 特征點分布情況也較均勻 因此深度相機下的ORB SLAM2算法在溫室內(nèi)具有良好的特征點捕捉效果 操作溫室移動機器人繞一壟作物閉環(huán)行走一周 生 成如圖10所示的點云圖 圖中紅色點為參考地圖點 黑 色點為所有地圖點 藍色表示關(guān)鍵幀 綠色線表示關(guān)鍵 幀之間的共視關(guān)系 算法建圖結(jié)果為 辣椒生長初期的 軌跡a建圖時間為130 288 s 路徑長度58 876 m 共獲取 501個關(guān)鍵幀和21 064個點云 辣椒生長中期的軌跡b 建圖時間為129 522 s 路徑長度56 104 m 共獲取536個 關(guān)鍵幀和26 606個點云 辣椒生長成熟期的軌跡c建圖 時間230 963 s 路徑長度57 569 m 共獲取943個關(guān)鍵幀 和36 742個點云 結(jié)合數(shù)據(jù)分析 ORB SLAM2具有良好的建圖效果 和軌跡生成的能力 且在溫室內(nèi)的建圖能達到較好的回 環(huán)效果 處理3種不同作物生長期下ORB SLAM2算法得到 CameraTrajectory txt文件 統(tǒng)計算法處理每幀圖像的時 間及所占的比例 結(jié)果如表3所示 算法在3種不同作物生長期的溫室環(huán)境下處理每幀 圖像的時間穩(wěn)定在0 033 s和0 034 s 本次試驗采集圖 像的頻率為30 Hz 即每隔0 033 3 s捕獲1幅圖像 與算 法處理每幀圖像的時間一致 且ORB SLAM2算法平均 跟蹤時間分別為0 086 7 0 088 17 0 100 0 s 說明基于 深度相機的ORB SLAM2算法可以滿足溫室內(nèi)不同環(huán)境 下的實時定位與建圖要求 2 2 ORB SLAM2算法在溫室內(nèi)定位試驗 在不同生長期的3個辣椒溫室分別選取一段矩形路 徑 在路徑上每隔0 5 m用石灰粉做一個標記點 如圖11 所示 操作溫室移動機器人沿標記點移動 形成用于評 估算法定位精度的實際軌跡 溫室移動機器人移動過程中 搭載在溫室移動機器 a 初期 b 中期 c 成熟期 圖9 不同辣椒生長期算法特征點捕捉效果 Fig 9 Effectiveness of feature point capture by algorithms for different pepper growth periods a 初期 b 中期 c 成熟期 圖10 不同辣椒生長期算法生成的點云圖 Fig 10 Point clouds generated by algorithm for different pepper growth periods 圖11 實際軌跡設(shè)定方法 Fig 11 Actual trajectory setting method 表3 算法處理每幀時間統(tǒng)計 Tab 3 Algorithmic processing of time per frame statistics 軌跡 a b c 總幀數(shù) 4 104 4 022 7 247 0 033 s處理幀 數(shù)占比 65 16 65 17 65 48 0 034 s處理幀 數(shù)占比 34 84 34 83 34 52 322 增刊1 李旭 等 基于ORB SLAM2的溫室移動機器人定位研究 人上的深度相機錄制視頻獲得數(shù)據(jù)集 通過算法分別獲 得3種場景下移動機器人的算法軌跡 表4所示為辣椒 生長中期算法生成的部分軌跡坐標 算法軌跡與實際 軌跡對比圖如圖12所示 計算2個軌跡間X軸和Z軸的 均方根誤差和平均絕對誤差 其中X軸方向的均方根誤 差分別為0 686 2 0 355 0 0 492 5 m 平均絕對誤差分別 為0 588 3 0 293 7 0 455 4 m Z軸方向的均方根誤差分 別為0 149 7 0 071 8 0 368 6 m 平均絕對誤差分別為 0 098 6 0 046 4 0 282 5 m 3個不同軌跡的X軸均方根 誤差均在0 7 m范圍之內(nèi) 平均絕對誤差均在0 6 m范圍 內(nèi) Z軸均方根誤差均在0 4 m范圍之內(nèi) 平均絕對誤差 均在0 3 m范圍內(nèi) 偏差主要產(chǎn)生在轉(zhuǎn)彎位置及道路起 伏較大的位置 算法軌跡與真實軌跡基本契合 具有良 好的定位效果 3 結(jié)論 1 針對溫室移動機器人定位技術(shù)存在的問題 提 出了基于深度相機的ORB SLAM2的溫室定位方法 實 機測試試驗表明該方法在溫室不同環(huán)境內(nèi)有著良好的 建圖效果以及較高的定位精度 2 在辣椒生長初期 中期 成熟期3種不同長勢環(huán) 境下都有著良好的特征點匹配效果 且分別能獲取501 536 943個關(guān)鍵幀 生成210 64 260 66 367 42個點云 具有較好的建圖效果 同時每幀圖像處理的時間為 0 033 s和0 034 s 與采集視頻數(shù)據(jù)集的頻率一致 算法 的實時性良好 3 定位試驗結(jié)果表明 X軸均方根誤差分別為 0 686 2 0 355 0 0 492 5 m 平均絕對誤差分別為 0 588 3 0 293 7 0 455 4 m Z軸均方根誤差為0 149 7 0 071 8 0 368 6 m 平均絕對誤差分別為0 098 6 0 046 4 0 282 5 m 算法軌跡與真實軌跡基本契合 參 考 文 獻 1 孫國祥 黃銀鋒 汪小旵 等 基于LIO SAM建圖和激光視覺融合定位的溫室自主行走系統(tǒng) J 農(nóng)業(yè)工程學(xué)報 2024 40 3 表4 辣椒生長中期算法生成的部分軌跡坐標 Tab 4 Partial trajectory coordinates generated by algorithm during mid growth period of chili peppers 序號 1 2 3 4 5 6 7 8 9 10 T x 0 0 000 789 696 0 000 851 873 0 002 024 376 0 002 503 945 0 003 638 672 0 003 728 752 0 003 829 772 0 004 466 692 0 006 414 600 T y 0 0 000 465 213 0 000 534 035 0 000 505 984 0 000 978 224 0 001 571 808 0 002 505 891 0 002 324 495 0 003 230 116 0 003 694 547 T z 0 0 000 538 790 0 001 070 877 0 000 966 425 0 001 988 228 0 002 060 608 0 002 992 342 0 003 379 196 0 004 210 810 0 004 373 698 Q x 0 0 000 009 404 0 000 016 415 0 000 145 660 0 000 205 524 0 000 413 689 0 000 440 078 0 000 466 959 0 000 754 498 0 000 754 098 Q y 0 0 000 081 495 0 000 005 087 0 000 212 470 0 000 228 129 0 000 351 456 0 000 320 390 0 000 241 764 0 000 234 699 0 000 556 574 Q z 0 0 000 238 793 0 000 069 865 0 000 339 335 0 000 348 918 0 000 486 708 0 000 350 172 0 000 231 431 0 000 146 374 0 000 747 159 Q w 1 000 000 000 0 999 999 940 1 000 000 000 0 999 999 881 0 999 999 881 0 999 999 702 0 999 999 762 0 999 999 821 0 999 999 642 0 999 999 285 a 初期 b 中期 c 成熟期 圖12 不同辣椒生長時期算法生成軌跡與實際軌跡對比 Fig 12 Comparison of algorithm generated trajectories and actual trajectories for different pepper growth periods 323 農(nóng) 業(yè) 機 械 學(xué) 報 2 0 2 4年 227 239 SUN Guoxiang HUANG Yinfeng WANG Xiaochan et al Autonomous navigation system in a greenhouse using LIO SAM mapping and laser viosion fusion localization J Transations of the CSAE 2024 40 3 227 239 in Chinese 2 楊婧暄 我國農(nóng)業(yè)大棚現(xiàn)狀及未來發(fā)展趨勢 J 種子科技 2023 41 14 142 144 3 畢松 張國軒 李志軍 等 基于測距值修正的溫室植保機器人定位方法 J 農(nóng)業(yè)機械學(xué)報 2023 54 8 347 358 BI Song ZANG Guoxuan LI Zhijun et al Positioning method of greenhouse plant protection robot based on distance measurement value correction J Transactions of the Chinese Society for Agricultural Machinery 2023 54 8 347 385 in Chinese 4 劉成良 貢亮 苑進 等 農(nóng)業(yè)機器人關(guān)鍵技術(shù)研究現(xiàn)狀與發(fā)展趨勢 J 農(nóng)業(yè)機械學(xué)報 2022 53 7 1 22 55 LIU Chengliang GONG Liang YUAN Jin et al Current status and development trends of agricultural robots J Transactions of the Chinese Society for Agricultural Machinery 2022 53 7 1 22 55 in Chinese 5 高國琴 李明 基于K means算法的溫室移動機器人導(dǎo)航路徑識別 J 農(nóng)業(yè)工程學(xué)報 2014 30 7 25 33 GAO Guoqin LI Ming Navigating path recognition for greenhouse mobile robot based on K means algorithm J Transactions of the CSAE 2014 30 7 25 33 in Chinese 6 OIKAWA Y OHYA A YOROZU A Pre planning of trajectory and orbiting around greenhouses to shorten operation time for fruit set reagent spraying robot C 2024 10th International Conference on Mechatronics and Robotics Engineering ICMRE IEEE 2024 105 109 7 袁挺 任永新 李偉 等 基于光照色彩穩(wěn)定性分析的溫室機器人導(dǎo)航信息獲取 J 農(nóng)業(yè)機械學(xué)報 2012 43 10 161 166 YUAN Ting REN Yongxin LI Wei et al Navigation information acquisition based on illumination chromaticity stability anal