基于改進(jìn)YOLOv3-Tiny的番茄苗分級(jí)檢測(cè).pdf

第38卷 第1期 農(nóng) 業(yè) 工 程 學(xué) 報(bào) Vol 38 No 1 2022年 1月 Transactions of the Chinese Society of Agricultural Engineering Jan 2022 221 基于改進(jìn)YOLOv3 Tiny的番茄苗分級(jí)檢測(cè) 張秀花1 2 靜茂凱1 2 袁永偉1 2 尹義蕾3 李 愷3 王春輝3 1 河北農(nóng)業(yè)大學(xué)機(jī)電工程學(xué)院 保定 071000 2 河北省智慧農(nóng)業(yè)裝備技術(shù)創(chuàng)新中心 保定 071000 3 農(nóng)業(yè)農(nóng)村部規(guī)劃設(shè)計(jì)研究院設(shè)施農(nóng)業(yè)研究所 北京 100125 摘 要 為了提高番茄苗分選移栽分級(jí)檢測(cè)精度 該研究提出了YOLOv3 Tiny目標(biāo)檢測(cè)改進(jìn)模型 首先建立了番茄穴盤 苗數(shù)據(jù)集 使用K means 算法重新生成數(shù)據(jù)集錨定框 提高網(wǎng)絡(luò)收斂速度和特征提取能力 其次為目標(biāo)檢測(cè)模型添加 SPP空間金字塔池化 將穴孔局部和整體特征融合 提高了對(duì)弱苗的召回率 同時(shí)加入路徑聚合網(wǎng)絡(luò) PANet 提升細(xì) 粒度檢測(cè)能力 引入了SAM空間注意力機(jī)制 提高對(duì)番茄苗的關(guān)注 減少背景干擾 增加了ASFF Adaptively Spatial Feature Fusion 自適應(yīng)特征融合網(wǎng)絡(luò) 能夠使目標(biāo)檢測(cè)模型對(duì)多個(gè)級(jí)別的特征進(jìn)行空間濾波 采用CIoU損失函數(shù)策略 提高模 型收斂效果 改進(jìn)的YOLOv3 Tiny目標(biāo)檢測(cè)模型經(jīng)過(guò)數(shù)據(jù)集訓(xùn)練 在測(cè)試集上能夠達(dá)到平均精度均值為97 64 相比 YOLOv3 Tiny模型提高了3 47個(gè)百分點(diǎn) 消融試驗(yàn)驗(yàn)證了網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)和訓(xùn)練策略是有效的 并將改進(jìn)的YOLOv3 Tiny 目標(biāo)檢測(cè)算法與5種目標(biāo)檢測(cè)算法進(jìn)行對(duì)比 發(fā)現(xiàn)改進(jìn)的YOLOv3 Tiny目標(biāo)檢測(cè)模型在重合度閾值為50 的條件下平均 精度均值為97 64 單張圖像處理時(shí)間為5 03 ms 較其他目標(biāo)檢測(cè)算法具有明顯的優(yōu)勢(shì) 驗(yàn)證了該模型能夠滿足番茄 苗分級(jí)檢測(cè)精度要求 可以為幼苗分選檢測(cè)方法提供參考 關(guān)鍵詞 機(jī)器視覺 圖像處理 穴盤育苗 幼苗分級(jí) 目標(biāo)檢測(cè) YOLOv3 Tiny 自適應(yīng)特征融合 doi 10 11975 j issn 1002 6819 2022 01 025 中圖分類號(hào) S24 TP389 1 文獻(xiàn)標(biāo)志碼 A 文章編號(hào) 1002 6819 2022 01 0221 09 張秀花 靜茂凱 袁永偉 等 基于改進(jìn)YOLOv3 Tiny的番茄苗分級(jí)檢測(cè) J 農(nóng)業(yè)工程學(xué)報(bào) 2022 38 1 221 229 doi 10 11975 j issn 1002 6819 2022 01 025 http www tcsae org Zhang Xiuhua Jing Maokai Yuan Yongwei et al Tomato seedling classification detection using improved YOLOv3 Tiny J Transactions of the Chinese Society of Agricultural Engineering Transactions of the CSAE 2022 38 1 221 229 in Chinese with English abstract doi 10 11975 j issn 1002 6819 2022 01 025 http www tcsae org 0 引 言 2020年中國(guó)蔬菜播種面積達(dá)2 086 27萬(wàn)hm2 產(chǎn)量 72 102萬(wàn)t 1 2 穴盤育苗是蔬菜規(guī)?；a(chǎn)的重要環(huán)節(jié) 商品化穴盤苗出售前 一般要進(jìn)行分選 剔除缺苗和弱 苗 用健康苗補(bǔ)換 形成整齊均勻的壯苗 3 5 然而目前 工廠化育苗的分選工作以手工為主 耗時(shí)費(fèi)力 難以滿 足大規(guī)模工廠化育苗生產(chǎn) 5 6 研究自動(dòng)化穴盤苗分選技 術(shù)具有重要意義 而運(yùn)用機(jī)器視覺進(jìn)行穴盤苗等級(jí)劃分 是實(shí)現(xiàn)自動(dòng)化分選的重要手段 穴盤苗移栽視覺識(shí)別早期采用傳統(tǒng)的圖像處理方 式 Tai 7 等開發(fā)了輔助機(jī)械手移植的機(jī)器視覺系統(tǒng) 引 導(dǎo)機(jī)械手將健康苗移栽到空的穴盤孔 任燁 8 通過(guò)增強(qiáng)圖 像色差后進(jìn)行閾值分割的方法 實(shí)現(xiàn)了對(duì)穴盤幼苗生長(zhǎng) 狀態(tài)的采集 蔣煥煜等 9 采用分水嶺算法分割方法處理幼 苗葉片邊緣重疊的問(wèn)題 童俊華等 10 通過(guò)改進(jìn)型的分水 嶺算法進(jìn)行了幼苗的健康識(shí)別 馮青春等 11 12 通過(guò)統(tǒng)計(jì) 各個(gè)穴孔里面的幼苗占用的像素?cái)?shù)量判斷對(duì)應(yīng)穴孔里面 是否為優(yōu)質(zhì)幼苗 采用線結(jié)構(gòu)光視覺系統(tǒng)對(duì)穴盤苗的高 收稿日期 2021 10 30 修訂日期 2021 12 31 基金項(xiàng)目 河北省重點(diǎn)研發(fā)計(jì)劃 20327207D 河北省引進(jìn)留學(xué)人員資助 項(xiàng)目 C20200336 作者簡(jiǎn)介 張秀花 博士 教授 研究方向?yàn)闄C(jī)械設(shè)計(jì)與理論 現(xiàn)代園藝生 產(chǎn)裝備技術(shù) Email zhang72xh 度進(jìn)行了測(cè)量 得到的穴盤苗高度誤差在5mm以內(nèi) 胡 飛等 13 測(cè)量得到了單連通區(qū)域法的修正函數(shù) 降低了面 積統(tǒng)計(jì)的誤差 荷蘭VISSER國(guó)際貿(mào)易與工程公司利用 CCD相機(jī)識(shí)別不健康的幼苗和空的穴盤孔 邱碩等 14 建 立了瓜類幼苗的識(shí)別定量判斷基準(zhǔn) 通過(guò)葉片的顏色信 息和形狀特征對(duì)瓜類幼苗進(jìn)行健康識(shí)別 孫國(guó)祥等 15 對(duì) 15 25 d的番茄穴盤苗圖像存在的番茄苗葉面重疊問(wèn)題 進(jìn)行葉面分割 進(jìn)行了逐層篩選真實(shí)分割拐點(diǎn) 張志遠(yuǎn) 等 16 實(shí)現(xiàn)了雙目視覺技術(shù)對(duì)高差突變的拐點(diǎn)進(jìn)行分離 提高了子葉分離的正確率 于亞波等 17 通過(guò)對(duì)穴盤幼苗 圖像進(jìn)行預(yù)處理實(shí)現(xiàn)背景分離 對(duì)提取的圖像進(jìn)行形心 位置的提取 能夠使幼苗的識(shí)別率在92 以上 彭曙等 18 對(duì)番茄苗幼苗的莖稈圖像進(jìn)行通道分離 王永維等 19 通 過(guò)對(duì)苗齡25 35 d的擬南芥穴盤苗通過(guò)行像素坐標(biāo)變化 和列坐標(biāo)變化的情況 確定每一個(gè)穴盤孔的邊界以及中 心坐標(biāo)位置 根據(jù)每個(gè)穴孔的分割后的像素值能夠?qū)崿F(xiàn) 對(duì)無(wú)苗和有苗的穴孔100 識(shí)別率 張寧等 20 通過(guò)正視圖 和俯視圖圖像提取幼苗的葉面積 株高 株莖等信息生 成數(shù)據(jù)集 訓(xùn)練隨機(jī)森林分級(jí)算法 對(duì)幼苗的質(zhì)量進(jìn)行 分級(jí) 最終算法的準(zhǔn)確率為93 3 以上文獻(xiàn)主要依靠閾 值分割的預(yù)處理方法對(duì)穴盤苗進(jìn)行處理 通過(guò)統(tǒng)計(jì)像素 值信息判斷穴盤苗的生長(zhǎng)狀態(tài) 隨著計(jì)算機(jī)技術(shù)和深度學(xué)習(xí)算法的發(fā)展 卷積神經(jīng) 網(wǎng)絡(luò)開始逐漸在穴盤苗檢測(cè)識(shí)別上應(yīng)用 張勇等 21 將卷 農(nóng)業(yè)工程學(xué)報(bào) http www tcsae org 2022年 222 積神經(jīng)網(wǎng)絡(luò)LeNet 5應(yīng)用到穴盤苗的識(shí)別過(guò)程中 通過(guò)把 穴盤苗圖像拆分為單獨(dú)的穴孔圖像 擴(kuò)充數(shù)據(jù)集完成數(shù) 據(jù)集構(gòu)建 最終穴盤苗識(shí)別準(zhǔn)確率達(dá)到98 7 何艷 22 等提出將采集到的煙草穴盤苗采用AdaBoost煙苗分割方 法 通過(guò)提取的Haar矩形特征和積分圖以及級(jí)聯(lián)分類器 對(duì)煙草穴盤格進(jìn)行訓(xùn)練 最終能夠?qū)崿F(xiàn)對(duì)煙草穴盤格的 分割準(zhǔn)確率達(dá)到 100 通過(guò) MLP Multi Layer Perceptron 建立識(shí)別模型和CNN訓(xùn)練模型的對(duì)比 CNN Convolutional Neural Network 模型對(duì)穴盤苗格的識(shí)別率 更高 達(dá)97 58 對(duì)穴盤格的分割結(jié)果進(jìn)行多個(gè)特征進(jìn) 行識(shí)別與標(biāo)記 最終能夠?qū)崿F(xiàn)煙草的壯苗準(zhǔn)確率達(dá) 99 05 相比于傳統(tǒng)的圖像處理識(shí)別方式 卷積神經(jīng)網(wǎng) 絡(luò)不僅準(zhǔn)確率高 而且在處理過(guò)程中不需要應(yīng)用到閾值 分割的處理方式 穩(wěn)定性較高 因此本文使用卷積神經(jīng) 網(wǎng)絡(luò)進(jìn)行番茄穴盤苗分級(jí)的研究 YOLOv3 Tiny是YOLOv3的輕量化版本 雖然檢測(cè) 速度高 但是檢測(cè)精度較低 為了解決番茄苗分選移栽 過(guò)程中的番茄苗分級(jí)檢測(cè)的智能化水平 兼顧檢測(cè)速度 和準(zhǔn)確率 提出了一種基于改進(jìn)的YOLOv3 Tiny番茄穴 盤苗分級(jí)檢測(cè)方法 引入多種特征融合機(jī)制增加目標(biāo)檢 測(cè)模型對(duì)番茄穴盤苗的注意力 減輕對(duì)背景的關(guān)注并提 高對(duì)番茄穴盤苗的細(xì)粒度檢測(cè) 對(duì)番茄穴盤苗的自動(dòng)化 檢測(cè)和分選提供方法參考 1 圖像采集與數(shù)據(jù)集制作 番茄穴盤苗為2020年8月中旬在永清縣農(nóng)業(yè)農(nóng)村部規(guī) 劃設(shè)計(jì)研究院國(guó)家設(shè)施農(nóng)業(yè)研究中心培育 品種為Fortesa RZ F1雜交種番茄 苗齡10 d時(shí)使用分辨率為1 920 1 080 像素的Kinect v2相機(jī)進(jìn)行圖像采集 隨機(jī)對(duì)其中的540株 番茄穴盤苗的葉展進(jìn)行測(cè)量 測(cè)量結(jié)果如圖1所示 圖1 番茄穴盤苗葉展的測(cè)量結(jié)果 Fig 1 Measurement results of leaf spread of tomato plug seedlings 通過(guò)圖1 可以看出 該類番茄穴盤苗的真葉葉展 子葉葉展和子葉與真葉葉展的商均符合正態(tài)分布 真葉 葉展主要分布區(qū)間為24 36 mm 子葉葉展主要分布區(qū) 間為30 60 mm 子葉與真葉葉展之商的主要分布區(qū)間 為1 26 2 34 參考相關(guān)的研究和規(guī)范 23 24 并根據(jù)市場(chǎng)通 用做法和番茄苗生長(zhǎng)情況 將番茄穴盤苗分為三級(jí) 即 1 空穴 穴盤孔中的種子未發(fā)芽或幼苗太弱小沒有 培養(yǎng)價(jià)值 2 弱苗 穴盤苗子葉和真葉的葉展之商大于1 8或 子葉的葉展小于30 mm或真葉的葉展小于24 mm 3 壯苗 穴盤苗子葉和真葉的葉展之商小于1 8 同時(shí)滿足子葉的葉展大于30mm 真葉的葉展大于24mm 基于以上分選標(biāo)準(zhǔn) 并根據(jù)穴孔被相鄰穴盤葉片遮 擋以及其他因素的干擾情況 對(duì)采集到的番茄穴盤苗的 分選示例如圖2 所示 將采集到的番茄穴盤苗圖片進(jìn)行 分割 分割后共計(jì)2 160張單個(gè)的番茄穴盤苗圖像 使用 在 Github 平臺(tái) 上 的開 源工 具 LabelImg 理 生成XML格式的數(shù)據(jù)集文件 無(wú)干擾 Without disturbance 葉片邊緣干擾 Leaf edge disturbance 葉片干擾 Leaf disturbance 土壤雜質(zhì)干擾 Soil impurities interference a 無(wú)苗 a No seedings 無(wú)干擾 Without disturbance 葉片邊緣干擾 Leaf edge disturbance 葉片交叉干擾 Leaves cross disturbance 子葉不對(duì)稱 Cotyledon asymmetry b 弱苗 b Weak seedings 無(wú)干擾 Without disturbance 葉片邊緣干擾 Leaf edge disturbance 葉片交叉干擾 Leaves cross disturbance 子葉不對(duì)稱 Cotyledon asymmetry c 壯苗 c Strong seedings 圖2 穴盤苗不同級(jí)別 Fig 2 Different levels of plug seedlings 為了增加圖像信息 基于數(shù)據(jù)增強(qiáng)庫(kù)albumentations 對(duì)原始數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng) 對(duì)數(shù)據(jù)同時(shí)使用旋轉(zhuǎn)和翻轉(zhuǎn) 的方式生成包含25 080張圖像的數(shù)據(jù)集 如表1所示 表1 訓(xùn)練集和測(cè)試集樣本數(shù)量 Table 1 The number of training and test set samples 數(shù)據(jù)集 Data set 壯苗 Strong seedings 弱苗 Weak seedlings 無(wú)苗 No seedlings 合計(jì) Total 訓(xùn)練集 Training set 10 000 6 400 6 400 22 800 測(cè)試集 Test set 1 000 640 640 2 280 2 改進(jìn)YOLOv3 Tiny目標(biāo)檢測(cè)模型的搭建 2 1 YOLOv3 Tiny卷積神經(jīng)網(wǎng)絡(luò) YOLOv3是YOLO系列的第三代 該目標(biāo)檢測(cè)算法 的骨干網(wǎng)絡(luò)在Darknet 19的基礎(chǔ)上加入了殘差模塊 最 終升級(jí)為Darknet 53 網(wǎng)絡(luò)結(jié)構(gòu)中借鑒了FPN特征金字 第1期 張秀花等 基于改進(jìn)YOLOv3 Tiny的番茄苗分級(jí)檢測(cè) 223 塔結(jié)構(gòu) 提高了算法對(duì)不同尺度信息提取特征的能力 最終分為3個(gè)檢測(cè)層進(jìn)行目標(biāo)的檢測(cè) YOLOv3 Tiny網(wǎng) 絡(luò)是YOLOv3的輕量化版本 具有精簡(jiǎn) 實(shí)時(shí)性高和高 檢測(cè)精度的特點(diǎn) 該網(wǎng)絡(luò)在骨干網(wǎng)絡(luò)中采用7 層卷積層 和最大池化層的網(wǎng)絡(luò)提取特征 并且移除了YOLOv3中 的殘差網(wǎng)絡(luò) 在檢測(cè)層中將YOLOv3的3個(gè)檢測(cè)層縮減 為了2個(gè) 因此YOLOv3 Tiny目標(biāo)檢測(cè)模型的骨干網(wǎng)絡(luò) 較淺 不能有效提取深層次的語(yǔ)義信息 檢測(cè)精度不能 滿足番茄穴盤苗分選要求 本文改進(jìn)YOLOv3 Tiny的特 征提取方式 引入注意力機(jī)制 引入更加充分的特征融 合機(jī)制和錨定框聚類等 對(duì)YOLOv3 Tiny進(jìn)行改進(jìn)和增 強(qiáng) 加強(qiáng)YOLOv3 Tiny目標(biāo)檢測(cè)模型的特征提取和特征 融合能力 2 2 YOLOv3 Tiny目標(biāo)檢測(cè)模型改進(jìn) 2 2 1 SPP空間金字塔池化 YOLOv3 Tiny中雖然有FPN作為特征融合結(jié)構(gòu) 但是 對(duì)葉面積較小的弱苗特征提取不夠充分 檢測(cè)精度依然較 低 存在漏檢與錯(cuò)檢的情況 為了提高弱苗的檢測(cè)精度 在YOLOv3 Tiny的骨干網(wǎng)絡(luò)后面引入SPP 25 空間金字塔池 化結(jié)構(gòu) 對(duì)番茄穴盤苗特征進(jìn)行局部特征和全局特征的融 合 構(gòu)建的SPP模塊的結(jié)構(gòu)如圖3所示 同時(shí)對(duì)輸入SPP 模塊的特征圖進(jìn)行池化核為13 13 9 9 5 5的最大池化 并將生成的特征圖與輸入的特征圖進(jìn)行融合 圖3 SPP池化金字塔結(jié)構(gòu) Fig 3 SPP pooling pyramid structure 2 2 2 引入PANet網(wǎng)絡(luò)結(jié)構(gòu) 為了提高骨干網(wǎng)絡(luò)特征提取和融合的能力 參考Liu 等 26 提出的路徑聚合網(wǎng)絡(luò)PANet 將骨干網(wǎng)絡(luò)結(jié)構(gòu)中產(chǎn) 生張量變化的特征圖進(jìn)行融合 將2 個(gè)預(yù)測(cè)尺度的特征 圖分別與骨干網(wǎng)絡(luò)引出的融合特征圖在維度上進(jìn)行疊 加 實(shí)現(xiàn)對(duì)不同尺度特征圖的充分融合與利用 最終在 P1和P2輸出特征圖 實(shí)現(xiàn)低層次特征層中的細(xì)節(jié)信息對(duì) 目標(biāo)定位 如圖4所示 改進(jìn)后在FPN的基礎(chǔ)上增加了 細(xì)節(jié)信息流動(dòng)的支路 低層次信息只需要較少的網(wǎng)絡(luò)層 就可以實(shí)現(xiàn)與高層次語(yǔ)義信息的融合 注 MCBL代表最大池化 Maxpool 卷積 convolutional 批正則化 Batch Norm Leaky Relu激活函數(shù) CBL表示卷積 convolutional 批正則化 Batch Norm Leaky Relu激活函數(shù) SPP代表空間金字塔池化 Upsample表示上采樣 Note MCBL stands for Maxpool convolutional Batch Norm Leaky Relu CBL stands for convolutional Batch Norm Leaky Relu SPP stands for spatial pyramid pooling and Upsample stands for upsampling 圖4 應(yīng)用的PANet結(jié)構(gòu) Fig 4 The PANet structure applied 2 2 3 引入SAM空間注意力機(jī)制 SAM空間注意力機(jī)制能夠提高網(wǎng)絡(luò)模型對(duì)番茄穴盤 苗的關(guān)注度 減少基質(zhì)土和穴盤邊緣的背景干擾 提升 模型檢測(cè)精度 SAM空間注意力機(jī)制 27 首先對(duì)輸入的特 征圖F做基于通道的全局最大池化和全局平均池化并將 獲得的特征圖進(jìn)行疊加 生成的特征圖經(jīng)過(guò)卷積運(yùn)算和 sigmoid激活函數(shù)之后與輸入的特征圖對(duì)應(yīng)元素相乘生成 空間注意力特征 該機(jī)制的工作原理如式 1 所示 7 7 max S Ss augM F f F F 1 式中Ms F 表示空間注意力圖 SaugF 表示對(duì)空間上特征的 平均化操作 maxSF 表示對(duì)空間上特征的最大池化操作 f 表示將兩個(gè)特征拼接后的卷積操作 表示sigmoid激活 函數(shù) 表示通道拼接操作 圖5為搭建的SAM機(jī)制結(jié) 構(gòu) 特征圖與PANet網(wǎng)絡(luò)融合后輸出P1和P2 經(jīng)過(guò)CBLo 層的卷積運(yùn)算分別形成特征圖F1和F2 F1和F2分別與 P1和P2的特征圖進(jìn)行相乘運(yùn)算 輸出特征圖再次進(jìn)行 CBLo卷積 輸出P1 和P2 即為經(jīng)過(guò)空間注意力機(jī)制的特 征圖 農(nóng)業(yè)工程學(xué)報(bào) http www tcsae org 2022年 224 注 P1 P2代表特征圖輸入 CBLo代表卷積 批正則化 Logistic激活函數(shù) F1 F2代表經(jīng)過(guò)卷積生成的特征圖 P1 和P2 代表輸出的特征圖 Note P1 and P2 represent feature map input CBLo represents convolutional Batch Norm Logistic activation function F1 and F2 represent feature maps generated by convolution and P1 and P2 represent output feature maps 圖5 基于Darknet實(shí)現(xiàn)的SAM空間注意力機(jī)制 Fig 5 SAM spatial attention mechanism based on Darknet implementation 2 2 4 自適應(yīng)特征融合網(wǎng)絡(luò) 為了解決YOLOv3 Tiny網(wǎng)絡(luò)結(jié)構(gòu)在不同尺度上不 一致性的問(wèn)題 在多尺度檢測(cè)階段引入了自適應(yīng)特征 融合 28 的方法 抑制尺度之間的不一致性 提高網(wǎng)絡(luò) 對(duì)番茄穴盤苗檢測(cè)的準(zhǔn)確性 圖6為基于Darknet框 架實(shí)現(xiàn)的ASFF自適應(yīng)特征融合網(wǎng)絡(luò) 以ASFF 1為 例 在SAM空間注意力機(jī)制中輸出P1 和P2 特征圖 后 P2 通過(guò)卷積的方式對(duì)特征圖進(jìn)行下采樣 使P1 和P2 的特征圖一致 隨后使P1 與P2 的特征圖融合 融合后的特征圖通過(guò)卷積層 調(diào)整形成通道數(shù)為1 尺度為13 13的特征圖 并分別與P1 和下采樣后的 P2 進(jìn)行相乘運(yùn)算 將運(yùn)算的結(jié)果通過(guò)殘差連接輸出為 P1 同理 對(duì)ASFF 2的運(yùn)算方式則是對(duì)P1 進(jìn)行上 采樣 然后進(jìn)行運(yùn)算 注 CLo代表卷積 Logistic激活函數(shù) 其余同上 Note CLo stands for Convolution Logistic activation function the rest are the same as above 圖6 基于darknet實(shí)現(xiàn)的ASFF自適應(yīng)特征融合網(wǎng)絡(luò) Fig 6 ASFF adaptive feature fusion network based on darknet 2 2 5 算法的位置回歸損失函數(shù) 在YOLOv3 Tiny中采取IoU損失函數(shù)作為位置回歸 損失計(jì)算 但是當(dāng)預(yù)測(cè)框與真實(shí)框沒有重疊區(qū)域時(shí) IoU 損失函數(shù)不僅無(wú)法衡量?jī)烧哌吔缈蛑g的距離 而且無(wú) 法提供任何可以提供傳遞的梯度 為了優(yōu)化位置回歸損 失函數(shù) 研究過(guò)程中利用Zheng等 29 提出的CIoU損失函 數(shù)提高回歸速度 CIoU損失函數(shù)綜合考慮了邊界框之間 的重疊面積 距離 尺度變化以及長(zhǎng)寬比等的幾何因素 邊界框的回歸相比IoU穩(wěn)定性得到了提高 CIoU損失函 數(shù)的計(jì)算公式為 2 2 CIoU IoU gtB Bc 2 式中 2 gtB B 代表預(yù)測(cè)框與真實(shí)框的中心點(diǎn)之間的歐 氏距離 代表權(quán)重 代表衡量長(zhǎng)寬比一致性的參數(shù) c 代表同時(shí)包含預(yù)測(cè)框和真實(shí)框的最小矩形區(qū)域的對(duì)角 線距離 本文算法采用CIoU損失函數(shù)作為邊界框定位的 損失函數(shù)如式 3 loc CIoU 2 2 1 CIoU 1 IoU gt L L B B c 3 式中Lloc代表算法的位置回歸損失函數(shù) LCIoU代表CIoU 位置回歸損失函數(shù) 2 2 6 錨定框的聚類與優(yōu)化 YOLOv3 Tiny目標(biāo)檢測(cè)模型的錨定框經(jīng)coco和voc 數(shù)據(jù)集聚類得到 本文研究對(duì)象為番茄穴盤苗數(shù)據(jù)集 為 提高錨定框利用率并提高模型收斂速度 使用K means 算法對(duì)番茄穴盤苗數(shù)據(jù)集進(jìn)行聚類 以獲得適應(yīng)番茄穴盤 苗數(shù)據(jù)集的錨定框 采用平均重疊度對(duì)聚類分析結(jié)果進(jìn)行 評(píng)判 如圖7a所示 當(dāng)錨定框數(shù)量為6時(shí) 平均重疊度達(dá) 到85 52 之后趨于平穩(wěn) 為平衡重疊度與網(wǎng)絡(luò)復(fù)雜度 將聚類數(shù)為6作為網(wǎng)絡(luò)中的錨定框尺寸 聚類云圖如圖7b 所示 此時(shí)的錨定框尺寸分別為 169 166 305 209 213 309 345 269 282 338 385 382 將聚類結(jié)果按照大小順序分配到13 13 26 26 兩個(gè)預(yù)測(cè)尺度 每個(gè)尺度分配3個(gè)錨定框 圖7 平均重疊度與聚類云圖 Fig 7 Average intersection over union AIOU with clustered cloud diagrams 最終改進(jìn)的YOLOv3 Tiny目標(biāo)檢測(cè)模型如圖8所示 第1期 張秀花等 基于改進(jìn)YOLOv3 Tiny的番茄苗分級(jí)檢測(cè) 225 圖8 改進(jìn)后的YOLOv3 Tiny目標(biāo)檢測(cè)模型 Fig 8 Improved YOLOv3 Tiny target detection model 3 試驗(yàn)結(jié)果與分析 3 1 模型訓(xùn)練 3 1 1 訓(xùn)練參數(shù) 硬件環(huán)境為GeForce RTX 3060 GPU 顯存為12 GB 安裝的NVIDA顯卡驅(qū)動(dòng) 分別為CUDA 11 1和cudnn v8 2 1 32 CUDA是NVIDA推出的GPU并行計(jì)算框架 該框架能夠在NVIDA GPU上運(yùn)行 滿足復(fù)雜計(jì)算 cudnn 為NVIDA推出的專門應(yīng)用于深度神經(jīng)網(wǎng)絡(luò)的GPU加速 器 軟件運(yùn)行環(huán)境選用Windows10操作系統(tǒng) Opencv 3 4 開源視覺庫(kù) 采用Visual Studio 2017進(jìn)行編譯 參數(shù)設(shè)置 在訓(xùn)練過(guò)程中 目標(biāo)檢測(cè)模型的網(wǎng)絡(luò)輸 入尺寸為416 416 每次迭代訓(xùn)練的樣本數(shù)量為64 共2 批次 進(jìn)行18 000次迭代 動(dòng)量因子設(shè)為0 9 衰減學(xué)習(xí) 率設(shè)為0 001 當(dāng)網(wǎng)絡(luò)迭代10 800 12 600 14 400和16 200 次時(shí) 學(xué)習(xí)率依次降低為0 000 1 0 000 01 0 000 001 和0 000 000 1 3 1 2 評(píng)價(jià)指標(biāo) 目標(biāo)檢測(cè)模型的評(píng)價(jià)指標(biāo)為準(zhǔn)確度 Precision P 和召回率 Recall R 為了度量準(zhǔn)確度和召回率在 實(shí)際檢測(cè)過(guò)程中的表現(xiàn)能力 本文使用平均精度均值 Mean Average Precision mAP 和F1值作為評(píng)價(jià)模型 效果的綜合評(píng)估指標(biāo) 計(jì)算公式為 TP 100 TP FPP 4 TP 100 TP FNR 5 10AP 100 P RdR 6 1 1mAP AP 100 n i in 7 1 2 100 PRF P R 8 式中n為檢測(cè)目標(biāo)的類別數(shù)量 i為某一具體的類別 TP 為正樣本被正確預(yù)測(cè)的數(shù)量 TN為負(fù)樣本被正確預(yù)測(cè)的 數(shù)量 FP為正樣本被錯(cuò)誤預(yù)測(cè)的數(shù)量 FN為負(fù)樣本被錯(cuò) 誤預(yù)測(cè)的數(shù)量 3 2 消融試驗(yàn)結(jié)果 消融試驗(yàn) 30 通常應(yīng)用在復(fù)雜的神經(jīng)網(wǎng)絡(luò)中 用于探 究網(wǎng)絡(luò)的特定子結(jié)構(gòu)或者訓(xùn)練策略及訓(xùn)練參數(shù)對(duì)模型產(chǎn) 生的影響 在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)過(guò)程中具有重要指導(dǎo) 意義 本文在YOLOv3 Tiny基礎(chǔ)上 在骨干網(wǎng)絡(luò)之后引 入空間金字塔池化結(jié)構(gòu) SPP 使用路徑聚合網(wǎng)絡(luò) PANet 進(jìn)行更加充分的特征信息融合 在頸部網(wǎng)絡(luò)增 加了注意力機(jī)制 提高對(duì)提取的特征進(jìn)行重點(diǎn)區(qū)域關(guān)注 預(yù)測(cè)層的損失函數(shù)修改為CIoU損失函數(shù)訓(xùn)練 為了驗(yàn)證 改進(jìn)效果 設(shè)置了消融試驗(yàn) 將改進(jìn)的YOLOv3 Tiny目 標(biāo)檢測(cè)模型中的改進(jìn)機(jī)制或策略逐個(gè)刪除并進(jìn)行訓(xùn)練 驗(yàn)證目標(biāo)檢測(cè)模型中的機(jī)制或策略改進(jìn)是否具有積極意 義 表2 中以消融試驗(yàn)過(guò)程中每個(gè)目標(biāo)檢測(cè)模型的平均 精度均值為指標(biāo)進(jìn)行排序 表2 消融試驗(yàn)結(jié)果 Table 2 Ablation experiment results ID FPN SPP PANet SAM ASFF CIoU mAP 1 94 17 2 94 56 3 96 73 4 96 88 5 97 35 6 97 64 注 FPN代表特征金字塔結(jié)構(gòu) SPP代表空間金字塔池化 PANet代表路徑 聚合網(wǎng)絡(luò) SAM代表空間注意力機(jī)制 ASFF代表自適應(yīng)特征融合網(wǎng)絡(luò) CIoU代表CIoU損失函數(shù) mAP代表平均精度均值指標(biāo) 表示當(dāng)前的網(wǎng)絡(luò) 模型中使用該結(jié)構(gòu)或者策略 表示當(dāng)前的網(wǎng)絡(luò)模型中未使用該結(jié)構(gòu)或策略 Note FPN stands for feature pyramid structure SPP stands for spatial pyramid pooling PANet stands for path aggregation network SAM stands for spatial attention mechanism ASFF stands for adaptive feature fusion network CIoU stands for CIoU loss function mAP stands for mean Average Precision evaluation index stands for This structure or strategy is used in the current network model and means that the structure or strategy is not used in the current network model 如表2所示第1組試驗(yàn)為YOLOv3 Tiny目標(biāo)檢測(cè)模 型的結(jié)果 對(duì)番茄穴盤苗分級(jí)檢測(cè)的mAP為94 17 第 2 組試驗(yàn)在YOLOv3 Tiny 目標(biāo)檢測(cè)模型基礎(chǔ)上增加了 SPP池化金字塔結(jié)構(gòu) mAP為94 56 相比第1組提高 了0 39個(gè)百分點(diǎn) 第3組在第2組的基礎(chǔ)上引入了PANet 路徑聚合網(wǎng)絡(luò) 相比第2組目標(biāo)檢測(cè)模型mAP提高了2 17 個(gè)百分點(diǎn) 第4組在第3組的基礎(chǔ)上引入了空間注意力 農(nóng)業(yè)工程學(xué)報(bào) http www tcsae org 2022年 226 SAM模塊 比第3組目標(biāo)檢測(cè)模型mAP提高了0 15個(gè) 百分點(diǎn) 第5組在第4組的基礎(chǔ)上增加了ASFF自適應(yīng)特 征融合網(wǎng)絡(luò) 檢測(cè)精度比第4組提高了0 47個(gè)百分點(diǎn) 第6組在第5組的基礎(chǔ)上引入了CIoU損失函數(shù) 比第5 組的mAP提高了0 29個(gè)百分點(diǎn) 比原始的YOLOv3 Tiny 提高了3 47個(gè)百分點(diǎn) 通過(guò)消融試驗(yàn)發(fā)現(xiàn) 對(duì)目標(biāo)檢測(cè) 模型的改進(jìn)均有積極效果 而PANet路徑聚合網(wǎng)絡(luò)的引 入對(duì)目標(biāo)檢測(cè)模型檢測(cè)準(zhǔn)確率提升最明顯 3 3 YOLOv3 Tiny改進(jìn)前后的對(duì)比結(jié)果 YOLOv3 Tiny和改進(jìn)的YOLO3 Tiny目標(biāo)檢測(cè)模型 的測(cè)試結(jié)果如圖9 所示 本次試驗(yàn)設(shè)定的置信度閾值為 0 25 通過(guò)圖9可以發(fā)現(xiàn) 對(duì)于無(wú)苗穴孔檢測(cè)情況 當(dāng)穴 孔沒有出現(xiàn)干擾的情況下 改進(jìn)的YOLOv3 Tiny 和 YOLOv3 Tiny 均能有較好的檢測(cè)效果 改進(jìn)后 YOLOv3 Tiny的置信度會(huì)高于YOLOv3 Tiny 但是穴孔 出現(xiàn)葉片和土壤雜質(zhì)干擾時(shí) YOLOv3 Tiny目標(biāo)檢測(cè)算 法的置信度出現(xiàn)了明顯的降低 而改進(jìn)后的 YOLOv3 Tiny 受到的干擾后置信度依然遠(yuǎn)遠(yuǎn)高于 YOLOv3 Tiny 對(duì)弱苗穴孔的檢測(cè)情況 YOLOv3 Tiny 受到子葉不對(duì)稱干擾較大 葉片邊緣和葉片交叉的干擾 較小 而改進(jìn)后的YOLOv3 Tiny則均能達(dá)到較高的檢測(cè) 置信度 對(duì)于壯苗穴孔檢測(cè)情況 YOLOv3 Tiny雖然對(duì) 子葉不對(duì)稱和葉片交叉干擾有較高的檢測(cè)置信度 但是對(duì) 子葉不對(duì)稱的樣本出現(xiàn)了誤檢 改進(jìn)后的YOLOv3 Tiny 基本沒有受到影響 YOLOv3 Tiny對(duì)數(shù)據(jù)集檢測(cè)的平均重 疊度為78 52 而改進(jìn)后的YOLOv3 Tiny則為78 81 改進(jìn)后的YOLOv3 Tiny對(duì)于番茄穴盤苗的無(wú)苗 弱苗和 壯苗三種類別的檢測(cè)準(zhǔn)確度分別提高了5 20 個(gè)百分點(diǎn) 3 53個(gè)百分點(diǎn)和0 04個(gè)百分點(diǎn) 較YOLOv3 Tiny目標(biāo)檢 測(cè)模型有明顯的提升 通過(guò)對(duì)比可以發(fā)現(xiàn)改進(jìn)后的 YOLOv3 Tiny 對(duì)穴盤苗的檢測(cè)效果遠(yuǎn)遠(yuǎn)強(qiáng)于 YOLOv3 Tiny 圖9 兩種目標(biāo)檢測(cè)模型的檢測(cè)對(duì)比 Fig 9 Detection comparison between the two target detection models 兩種目標(biāo)檢測(cè)模型的檢測(cè)結(jié)果的P R曲線如圖10所 示 圖中曲線與橫縱坐標(biāo)圍成的區(qū)域面積即為該類別檢 測(cè)的準(zhǔn)確率 可以發(fā)現(xiàn)無(wú)論是對(duì)壯苗 弱苗還是無(wú)苗的 檢測(cè) 改進(jìn)的YOLOv3 Tiny目標(biāo)檢測(cè)模型的PR曲線均 在YOLOv3 Tiny的外側(cè) 檢測(cè)的準(zhǔn)確率更高 能夠發(fā)現(xiàn) 其性能明顯強(qiáng)于YOLOv3 Tiny目標(biāo)檢測(cè)模型 圖10 兩種目標(biāo)檢測(cè)模型的P R曲線 Fig 10 The P R curve of the two target detection models 第1期 張秀花等 基于改進(jìn)YOLOv3 Tiny的番茄苗分級(jí)檢測(cè) 227 3 4 不同算法的對(duì)比試驗(yàn) 使用同樣的數(shù)據(jù)集對(duì)其他的5 種目標(biāo)檢測(cè)算法進(jìn)行 訓(xùn)練 在得到最佳權(quán)重之后 在同樣的測(cè)試集上進(jìn)行測(cè) 試 最終對(duì)6 種目標(biāo)檢測(cè)算法或模型在不同的重合度指 標(biāo)上進(jìn)行F1值 mAP和AP值的計(jì)算 結(jié)果如表3所示 當(dāng)重疊度閾值為50 的情況下 改進(jìn)后的YOLOv3 Tiny 目標(biāo)檢測(cè)算法 Improved YOLOv3 Tiny 的mAP和各項(xiàng) AP值均高于其他目標(biāo)檢測(cè)算法 平均F1值指標(biāo)則對(duì)比 其他算法差距不大 改進(jìn)后的YOLOv3 Tiny目標(biāo)檢測(cè)算 法的單張圖片的檢測(cè)時(shí)間為5 03 ms 而對(duì)比試驗(yàn)中的大 型目標(biāo)檢測(cè)算法檢測(cè)時(shí)間最短的YOLOv3為13 42 ms 改進(jìn)后的YOLOv3 Tiny 比YOLOv3 檢測(cè)時(shí)間縮短了 8 39 ms 能夠滿足使用的要求 但是當(dāng)重疊度閾值為75 時(shí) 改進(jìn)后的YOLOv3 Tiny相較于大型的目標(biāo)檢測(cè)算法 檢測(cè)精度并不是很理想 但是和Faster RCNN以及輕量化 的YOLOv3 Tiny目標(biāo)檢測(cè)算法相比 依然有較高的檢測(cè) 精度 因此在重疊度閾值為50 的情況下 改進(jìn)之后的 YOLOv3 Tiny具有較好的應(yīng)用效果 表3 6種算法在測(cè)試集上的測(cè)試結(jié)果 Table 3 Test results of the six algorithms on the test set 平均精度 Average Precision 檢測(cè)算法 Detection algorithm 重合度閾值 IoU Threshold F1值 F1 score 平均精度均值 Mean Average Precision 檢測(cè)時(shí)間 Detection time ms 壯苗 Strong seedling 弱苗 Weak seedings 無(wú)苗 No seedings 50 94 10 91 44 92 70 86 23 96 39 Faster RCNN 75 84 00 73 09 57 15 64 82 63 13 91 31 50 92 10 94 71 93 02 91 16 99 95 YOLOv3 Tiny 75 73 20 65 55 2 94 65 72 60 32 70 62 50 95 00 96 50 95 96 93 84 99 71 YOLOv4 75 88 00 86 99 15 52 79 30 82 11 99 56 50 93 60 97 08 97 20 94 02 100 YOLOv3 75 86 90 86 66 13 42 79 97 80 35 99 84 50 94 10 97 17 97 30 94 20 100 CenterNet 75 84 00 87 71 27 5 86 16 77 42 99 55 50 94 00 97 64 98 22 94 69 99 99 Improved YOLOv3 Tiny 75 85 50 83 76 5 03 79 06 72 36 99 85 4 結(jié) 論 本文以番茄穴盤苗為研究對(duì)象 以YOLOv3 Tiny目 標(biāo)檢測(cè)模型為基礎(chǔ) 結(jié)合番茄穴盤苗分選的實(shí)際情況 對(duì)YOLOv3 Tiny目標(biāo)檢測(cè)模型進(jìn)行了改進(jìn) 最終搭建了 改進(jìn)的YOLOv3 Tiny目標(biāo)檢測(cè)模型并進(jìn)行了試驗(yàn)分析和 評(píng)價(jià) 結(jié)論如下 1 改進(jìn)了 YOLOv3 Tiny 目標(biāo)檢測(cè)模型 在 YOLOv3 Tiny目標(biāo)檢測(cè)模型的骨干網(wǎng)絡(luò)后面加入了SPP 空間金字塔池化結(jié)構(gòu) 使用PANet結(jié)構(gòu)提升了原來(lái)的FPN 特征金字塔 使用CIoU損失函數(shù)替代IoU損失函數(shù) 加 入SAM空間注意力機(jī)制和ASFF自適應(yīng)特征融合網(wǎng)絡(luò) 2 基于采集和數(shù)據(jù)增強(qiáng)后的25 080張圖片 對(duì)改進(jìn) 的YOLOv3 Tiny目標(biāo)檢測(cè)模型進(jìn)行試驗(yàn) 結(jié)果表明 改 進(jìn)后的YOLOv3 Tiny 目標(biāo)檢測(cè)算法的平均精度均值為 97 64 F1值為94 00 在YOLOv3 Tiny的基礎(chǔ)上分 別提高了3 47個(gè)百分點(diǎn)和1 90個(gè)百分點(diǎn) 3 通過(guò)消融試驗(yàn)證明對(duì)YOLOv3 Tiny目標(biāo)檢測(cè)模 型的改進(jìn)效果 通過(guò)改進(jìn)后的 YOLOv3 Tiny 與 YOLOv3 Tiny Faster RCNN和CenterNet等目標(biāo)檢測(cè)算 法的對(duì)比試驗(yàn) 結(jié)果表明改進(jìn)后的YOLOv3 Tiny目標(biāo)檢 測(cè)算法檢測(cè)精度在重疊度閾值為50 的條件下平均精度 均值為97 64 F1值為94 00 優(yōu)于其他目標(biāo)檢測(cè)算 法 此時(shí)改進(jìn)后的YOLOv3 Tiny目標(biāo)檢測(cè)模型對(duì)壯苗 弱苗和無(wú)苗的檢測(cè)平均精度分別為98 22 94 69 和 99 99 對(duì)單張圖片檢測(cè)時(shí)間為5 03 ms 較試驗(yàn)中檢測(cè) 時(shí)間最短的大型目標(biāo)檢測(cè)算法降低了8 39 ms 具有明顯 的速度優(yōu)勢(shì) 參 考 文 獻(xiàn) 1 張俊杰 張西群 彭發(fā)智 等 蔬菜工廠化播種育苗技術(shù) 及應(yīng)用前景 J 河北農(nóng)業(yè)科學(xué) 2013 17 4 20 23 Zhang Junjie Zhang Xiqun Peng Fazhi et al The vegetable industralized sowing seedling technology and its application prospect J Journal of Hebei Agricultural Sciences 2013 17 4 20 23 in Chinese with English abstract 2 劉明池 季延海 武占會(huì) 等 我國(guó)蔬菜育苗產(chǎn)業(yè)現(xiàn)狀與 發(fā)展趨勢(shì) J 中國(guó)蔬菜 2018 1 11 1 7 Liu Mingchi Ji Yanhai Wu Zhanhui et al Current situation and development trend of vegetable seedling industry in our country J China Vegetables 2018 1 11 1 7 in Chinese with English abstract 3 Ting K C Giacomelli G A Ling P P Workability and productivity of robotic plug transplanting workcell J In Vitro Cellular 2 Hebei Smart Agricultural Equipment Technology Innovation Center Baoding 071000 China 3 Institute of Protected Agriculture Academy of Agricultural Planning and Engineering Ministry of Agriculture and Rural Affairs Beijing 100125 China Abstract Here an improved YOLOv3 Tiny target detection model was proposed to enhance the detection accuracy of the seedling classification and detection in the process of tomato seedling transplanting First