基于YOLOv4的草莓目標檢測技術研究.pdf

基于 YOLOv4 的 草莓目標檢測技術研究 金 林華 柳凱玲 鄒家正 盧仁俊 崔 明 江蘇農林職業(yè)技術學院 江 蘇鎮(zhèn)江 212400 摘 要 草莓目標檢測對草莓智能化監(jiān)測和自動化采摘具有非常重要的意義 本文提出了一種基于 YOLOv4 的草莓目標檢測方法 針對復雜環(huán)境下采集 到的草莓數(shù)據(jù)集 首先采用 LabelImg 進行數(shù)據(jù)類型標注 然 后采用 改進的 Kmeans 聚類算法進行先驗框尺 寸的計算 最后采用分階段訓練方法對搭建的 YOLOv4 模型進行訓練和 模 型評估 結果表明 該方法的測試集平均精度均值達到 97 05 單 張圖像檢測時間平均為 74 ms 能 夠滿足草 莓的高精度實時檢測需求 關鍵詞 草莓 目標檢測 YOLOv4 平 均精度 中圖分類號 TP391 文 獻標識碼 A 文 章編號 1007 5739 2023 01 0119 04 DOI 10 3969 j issn 1007 5739 2023 01 031 開 放科學 資源服務 標識碼 OSID 隨 著我國設施農業(yè)的快速發(fā)展 智能化信息監(jiān) 測和自動采摘成為草莓設施產業(yè)的主要研究方向 在草莓智能化監(jiān)測控制中 草莓目標檢測可以為草 莓生長過程中的狀態(tài)監(jiān)測 病蟲害檢測和產量預測 提供先驗信息 是草莓智能化信息監(jiān)測的關鍵技術 草莓自動采摘機器人在工作過程中需要進行目標識 別和目標定位兩個步驟 其中成熟草莓目標識別是 目標定位的前提 直接影響后續(xù)的采摘精度 因此 草莓目標檢測能夠為草莓生長狀態(tài)分析和目標定位 提供技術支持 對草莓產業(yè)智能化發(fā)展具有非常重 要的意義 當前國內外針對草莓目標檢測已經取得了一定 的成果 李鑫 1 提 出了一種基于 CaffeNet 網 絡的草莓 目標識別方法 試驗結果表明 所采用方法的平均識 別率和耗時均優(yōu)于基于 HOG 特 征的 SVM 識 別算 法 閆元 2 針 對草莓采摘機器人的目標識別問題 采 用 Inception v2 網 絡進行特征參數(shù)提取 并利用 Faster RCNN 網 絡進行目標檢測 試驗結果表明 草 莓平均識別精度為 85 32 單 次識別時間達 0 16 s 錢 文秀等 3 針 對草莓多級分類及遮擋情況下的檢測 問題進行了研究 提出了一種基于短連接深度監(jiān)督 顯著目標檢測算法的草莓分割方法 對草莓遮擋和 環(huán)境光線變化具有較高的自適應性 高凡 4 提 出了一 種改進的 YOLOv3 草 莓目標檢測方法 提高了細節(jié) 信息的特征提取能力 試驗結果表明 該方法對小目 標和光照變化具有較高的自適應性 陳楊 5 提 出了一 種基于 Straw R CNN 的 草莓目標檢測方法 采用金 字塔型特征網絡提取和 ROI Aline 層 方法 提升了草 莓果實和花朵小尺寸目標的檢測精度 雖然當前針對草莓目標檢測的研究已經取得了 一定的進展 但主要停留在理論研究層面 且模型算 法對復雜生長環(huán)境下草莓遮擋 重疊等情況的檢測 精度不高 本文針對草莓目標檢測問題進行研究 提 出了一種基于 YOLOv4 卷 積神經網絡模型的草莓目 標檢測方法 以實現(xiàn)對草莓目標的快速 精確檢測 以期為草莓采摘機器人和智能化監(jiān)測提供精確的目 標信息 1 研 究方法 1 1 檢 測算法 1 1 1 目 標檢測算法 隨著圖像處理和深度學習技 術的快速發(fā)展 目標檢測算法逐漸由傳統(tǒng)的人工特 征提取向卷積神經網絡檢測方法轉變 在傳統(tǒng)的目 基 金項目 2021 年 江蘇省大學生創(chuàng)新創(chuàng)業(yè)訓練計劃項目 202113103037Y 江蘇農林職業(yè)技術學院創(chuàng)新 訓練項目 基于 LoRa 的 智能農業(yè)灌溉系統(tǒng)設計 202113103044y 通 信作者 收稿日期 2022 04 28 現(xiàn) 代農業(yè)科技 2023 年 第 1 期 農業(yè)工程學 119 現(xiàn)代 農業(yè)科技 2023 年 第 1 期農業(yè)工程學 標檢測方法中 常用的特征提取方法主要依據(jù)人類 的經驗進行 主要特征類型包括圖像的顏色 形狀 紋理 HOG 特 征等信息 并結合 SVM 等 機器學習和 分類方法進行最終的目標識別 傳統(tǒng)的目標檢測方 法由于主要依賴人類的經驗進行特征提取 特征信 息不夠全面 對復雜環(huán)境下的檢測自適應性較低 且 在識別過程中所采用的滑動窗口區(qū)域檢測方法耗時 較長 相對于傳統(tǒng)目標檢測方法 卷積神經網絡算法 依托搭建好的模型實現(xiàn)特征的自動提取 特征提取 能力進一步增強 當前的卷積神經網絡目標檢測方 法主要分為單步法和兩步法 2 種 類型 單步法直接 對特征提取后的圖像進行目標分類與回歸 而兩步 法分為候選區(qū)域提取和目標分類與回歸兩個步驟 兩步法首先進行候選區(qū)域提取 在此基礎上進一步 進行目標的分類和回歸 提高了目標檢測的精度 但 耗時較長 典型的兩步目標檢測方法包括 RCNN Faster RCNN 等 與 兩步法相比 單步法的檢測速度 更快 其直接對圖像進行特征提取和分類回歸 但檢 測精度受到一定的制約 典型的單步目標檢測方法 包括 SSD YOLO 等 1 1 2 YOLOv4 目 標檢測方法 作為一種經典的單步 法目標檢測模型 YOLO 檢 測算法經歷了 YOLOv1 YOLOv2 YOLOv3 YOLOv4 等 發(fā)展階段 成為目標檢 測方法的主要發(fā)展方向之一 6 因 為 YOLO 系 列屬于 單階段目標檢測 所以具有較快的識別速度 能夠更 好地滿足實時性需求 隨著 YOLOv3 算 法的出現(xiàn) YOLO 系 列的檢測算法以其優(yōu)異的檢測特性成為主 流目標檢測算法之一 YOLOv3 算 法采用 DarkNet53 網 絡作為主干特征提取網絡 對輸入圖像進行了 5 次 下 采樣 通過引入殘差模塊緩解了模型訓練過程 中的梯度消失問題 在特征提取方面 YOLOv3 算 法 采用特征金字塔結構提取了 3 個 特征層的參數(shù)信 息 并進行了特征融合 提升了網絡模型的特征提取 能力 為了更好地平衡目標檢測精度和速度 YOLOv4 模 型對 YOLOv3 模 型進行了進一步改進 在主干特征 提取網絡方面 YOLOv4 模 型采用 CSPDarkNet53 替 代 DarkNet53 網 絡 通過引入 CSPnet 結 構和 Mish 激 活函 數(shù)進一步提升了模型的特征提取能力 在特征 金字塔方面 YOLOv4 模 型在 YOLOv3 模 型的基礎 上 采用 SPP 和 PANet 結 構 其中 PANet 結 構實現(xiàn)了 不同層數(shù)下特征信息的反復提取和深度融合 SPP 結構 通過多尺度最大池化處理進一步增加了特征金 字塔中每一層的感受野 提高了每一層的特征融合 度和信息量 在模型訓練方面 YOLOv4 模 型采用 Mosaic 數(shù) 據(jù)增強方法 進一步豐富了數(shù)據(jù)集模型 在 損失函數(shù)計算方面 YOLOv4 模 型提出了對物體尺寸 變化和重疊更敏感的 CIOU 算 法 進一步減少了訓 練過程中的模型發(fā)散問題 為了優(yōu)化訓練過程 YOLOv4 模 型采用了余弦退火衰減方法 進一步降低 了模型訓練中陷入局部極小值的風險 為了減少模 型訓練中的過擬合現(xiàn)象 YOLOv4 模 型采用了 Label Smoothing 平 滑方法 在損失函數(shù)計算方面 YOLOv4 模型主要包括 回歸損失 分類損失以及置信度損失等 3 個 部分 其中回歸損失采用 CIOU 算 法對正樣本進 行計算 分類損失是實際存在目標預測類與真實類 之間的差距 置信度損失包括兩部分內容 一部分為 實際存在目標預測結果的置信度 另一部分為實際 不存在目標預測結果的置信度 在模型預測過程中 YOLOv4 將 圖像劃分成 S S 的 網格 每個網格點負 責一個區(qū)域的檢測 輸出檢測框的位置坐標 置信度 和分類概率預測結果 其中 位置坐標為目標相對網 格點位置的偏移量 且位置坐標加上網格點即為預 測框的中心位置坐標 經過預測得到的單網格輸出 預測值數(shù)量為 B 4 1 C 其中 B 為 單網格輸出的 檢測框個數(shù) C 為 目標的類型個數(shù) 輸出的矢量維度 為 S S B 5 C 為了提高目標的檢測精度 YOLOv4 模 型采用得分過濾和非極大抑制方法過濾 重合度較大的目標檢測結果 保證了目標檢測結果 的精確性 1 2 試 驗驗證 1 2 1 數(shù) 據(jù)集建立 為了提高算法模型的自適應性 本文采集不同光照環(huán)境下的草莓圖像 771 張 像 素 尺寸為 1 008 756 為 了便于數(shù)據(jù)集的訓練和測試 本文將數(shù)據(jù)集按照 9 1 的 比例分為訓練集和測試 集 通過 LabelImg 軟 件進行手工標注 其中草莓數(shù)據(jù) 120 按照 著色率分為成熟和不成熟 2 種 類型 經過手工 標注后生成的 XML 文 件中包含每幅圖像中的目標 位置和類別信息 其中目標位置提供左上角坐標和 右下角坐標信息 通過草莓目標的位置信息可以計 算出每個目標的寬高參數(shù) 為后續(xù)的先驗框計算提 供了基礎 1 2 2 先 驗框計算 先驗框參數(shù)反映了目標檢測的 尺寸信息 對于尺寸變化較大情況下的目標檢測精 度具有重要影響 考慮到 Kmeans 算 法對初始化聚類 中心選擇上的不確定性 本文采用 Kmeans 算 法對 手工標注的 XML 文 件中的目標寬高尺寸進行聚類 Kmeans 算 法對初始化聚類中心的選擇進行優(yōu)化 即對隨機選取的單個初始聚類中心按照未知聚類中 心與已知聚類中心位置最遠的原則進行聚類初始 化 采用輪盤法尋找指定數(shù)量的聚類中心 考慮到 YOLOv4 模 型有 9 個 先驗框 因而聚類數(shù)為 9 個 先 驗 框聚類結果可以分為 3 個 特征層的參數(shù) 分別對 應小尺寸 中尺寸和大尺寸目標 考慮到草莓在拍攝 時的目標距離不同 且存在遮擋 重疊等情況 因而 不同尺寸的先驗框有利于提升目標的檢測精度 Kmeans 算 法對 LabelImg 標 注好的草莓目標寬高 尺寸進行計算得到的 9 個 先驗框的寬和高像素尺寸 分別為 24 29 29 41 34 57 42 44 42 75 50 62 52 89 63 111 80 143 分 別對應 3 個 特征層的先驗 框參數(shù) 2 結 果與分析 2 1 草 莓模型識別 本文搭建了 YOLOv4 網 絡模型 并將標注好的 訓練集圖像和先驗框參數(shù)引入模型中進行訓練 本 文 所 用 計 算 機 CPU 為 Inter Core i7 10870H CPU 2 20 GHz 顯 卡為 NVIDIA GeForce RTX 2070 內 存為 16 GB 操 作系統(tǒng)為 Windows 10 為 了提高模型訓練效率 本文模型訓練采用遷 移學習完成 將圖片數(shù)據(jù)集隨機按照 9 1 的 比例分 為訓練集和測試集 模型的訓練過程分兩階段進行 第一階段 為了提升模型訓練速度 凍結前 249 層 的 權重參數(shù)以降低模型參數(shù)的訓練量 設置迭代次數(shù) 為 50 batch size 參 數(shù)為 8 初 始學習率為 10 3 并 采 用 Adam 優(yōu) 化器更新網絡權重 第二階段 對網絡凍 結層解凍進行整體訓練 設置迭代次數(shù)為 70 模 型 訓練初始學習率為 10 4 batch size 參 數(shù)為 4 并 采用 Adam 優(yōu) 化器更新網絡權重 實際訓練結束后的訓練 集損失為 5 511 驗 證集損失為 5 611 模 型訓練結束后 將最優(yōu)訓練參數(shù)導入模型中 進行識別驗證 考慮到草莓目標檢測環(huán)境的復雜性 本文重點對草莓不同尺寸和遮擋情況下的檢測效果 進行分析 檢測結果如圖 1 所 示 從圖 1 a 可 以看 出 本文算法模型能夠實現(xiàn)不同尺寸草莓目標的精 確檢測 對測試集的整體檢測結果進行分析發(fā)現(xiàn) 本 文模型對不同尺寸的草莓目標具有較強的穩(wěn)健性 從圖 1 b 可 以看出 算法模型對遮擋環(huán)境下的草莓 目標具有較好的自適應性 對測試集整體檢測效果 進行分析發(fā)現(xiàn) 本文模型對遮擋或者草莓重疊狀況 不嚴重情況下的草莓目標可以實現(xiàn)精確檢測 綜上 所述 本文算法對復雜環(huán)境下的草莓目標尺寸變化 和遮擋狀況具有較高的穩(wěn)健性 2 2 模 型評價 模型評價是評價模型性能的關鍵步驟 也是驗 金林華等 基于 YOLOv4 的 草莓目標檢測技術研究 注 a 為 不同尺寸目標檢測 b 為 遮擋目標檢測 圖 1 草 莓目標檢測結果 a b 121 現(xiàn)代 農業(yè)科技 2023 年 第 1 期農業(yè)工程學 上接第 118 頁 究 D 昆 明 昆明理工大學 2019 12 孫 曉軍 杜傳印 孫其勇 熱 泵型烤房的設計開發(fā) C 山 東制冷空調 2009 年 山東省制冷空調學術年會 煙臺 冰輪杯 優(yōu)秀論文集 青 島 中國制冷學會 2009 58 61 13 BRYAN W MAW J MICHAEL M et al Heat pump de humidification during the curing of flue cured tobacco C Nashville The Proceedings of the 41st Tobacco Workers Conference 2004 14 孫 曉軍 杜傳印 王兆群 等 熱 泵型煙葉烤房的設計探 究 J 中 國煙草學報 2010 16 1 31 35 15 劉 雅嫻 沈晗 杜傳印 等 不 同肥料運籌模式下采收時 間對烤煙經濟性狀及品質的影響 J 中 國煙草科學 2020 41 2 21 26 16 呂 君 魏娟 張振濤 等 基 于等焓和等溫過程的熱泵烤 煙系統(tǒng)性能的理論分析與比較 J 農 業(yè)工程學報 2012 28 20 265 271 17 呂 君 魏娟 張振濤 等 熱 泵烤煙系統(tǒng)性能的試驗研 究 J 農 業(yè)工程學報 2012 28 增 刊 1 63 67 18 伊 松林 張璧光 太 陽能及熱泵干燥技術 M 北 京 化學 工業(yè)出版社 2011 19 陳 東 謝繼紅 熱 泵干燥裝置 M 北 京 化學工業(yè)出版 社 2007 20 李 世軍 排 濕熱回收熱泵煙葉烤房及其自動控制的研 究 J 中 國農機化學報 2017 38 12 63 67 21 張 雨薇 易鎮(zhèn)邪 周清明 不 同密集烤房對烤煙烘烤能 耗成本與上部葉品質的影響 J 甘 肅農業(yè)大學學報 2019 54 5 112 120 22 任 杰 曹亞凡 盧曉華 等 可 調節(jié)氣流方向的閉式循環(huán) 熱泵烤房的設計應用 J 煙 草科技 2019 52 8 82 88 23 許 錫祥 陳承亮 呂作新 等 幾 種新型密集烤房烘烤效 果比較 J 中 國煙草科學 2017 38 5 82 86 證 模型穩(wěn)健性和檢測能力的標準 常用的目標檢測 模型評價指標有精確度 Precision 召回率 Recall 和 平均精度 mAP mean average precision 其中精確 度和召回率的計算公式如下 精確度 TP TP FP 1 召 回率 TP TP FN 2 其 中 TP 為 目標實際為正樣本且模型判定為正 樣本的情況 FP 為 目標實際為負樣本且模型判定為 正樣本的情況 FN 為 目標實際不為負樣本且模型判 定為負樣本的情況 除了精確度和召回率以外 還有 二者的組合評價標準平均精度 mAP 其評價更為 客觀 對測試集檢測結果進行分析 網絡模型的平均 精度 mAP 評 價結果表明 測試集中成熟草莓的召 回率為 90 48 精 確度為 98 70 平 均精度為 99 63 未 成熟草莓的召回率為 80 40 精 確度為 94 67 平 均精度為 94 47 經 測試 在分辨率為 1008 756 的 情況下 草莓目標檢測的平均精度 mAP 均 值達到 97 05 檢 測時間平均為 74 ms 能 夠 滿足草莓檢測的精度和實時性需求 3 結 論 本文針對草莓 目標檢測存在的問題 提出了一 種基于 YOLOv4 的 檢測方法 通過數(shù)據(jù)集標注獲取 草莓目標的位置和類型信息 在此基礎上采用改進 型 Kmeans 算 法實現(xiàn)草莓先驗框的尺寸計算 最后采 用遷移學習和兩階段訓練方法實現(xiàn)模型訓練 試驗 結果表明 該方法對草莓目標檢測 的平均精度 mAP 均 值達到 97 05 檢 測時間平均達到 74 ms 可 以實現(xiàn)復雜環(huán)境下草莓目標的快速準確檢測 4 參 考文獻 1 李 鑫 用 于機器采摘的高架草莓識別與分級方法的研 究 D 南 京 東南大學 2018 2 閆 元 基 于深度學習與雙目視覺的草莓識別定位研究 D 太 谷 山西農業(yè)大學 2020 3 錢 文秀 常青 向輝 等 基 于深度監(jiān)督顯著目標檢測的 草莓圖像分割 J 華 東理工大學學報 自然科學版 2020 46 1 114 120 4 高 凡 基 于深度學習的實例搜索方法研究 D 西 安 西安 科技大學 2020 5 陳 楊 基 于無人機遙感開發(fā)平臺的草莓生長狀況快速監(jiān) 測研究 D 杭 州 浙江大學 2020 6 黃 小杭 梁智豪 何子俊 等 基 于 YOLO v2 的 蓮蓬快速 識別研究 J 現(xiàn) 代農業(yè)科技 2018 13 164 167 nullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnull 122