專利：一種溫室生產(chǎn)環(huán)境下草莓白粉病快速檢測方法.pdf

19 國家知識產(chǎn)權(quán)局 12 發(fā)明 專利申請 10 申請公布號 43 申請公布日 21 申請 號 202210186362 9 22 申請日 2022 02 28 71 申請人 天津市農(nóng)業(yè)科 學院 地址 300190 天津市南 開區(qū)白堤路268號 72 發(fā)明人 李揚 田濤 程文娟 腰彩紅 閆松 于洋 宋治 文 王建春 74 專利代理 機構(gòu) 天津翰林知識產(chǎn)權(quán)代理事務(wù) 所 普通 合 伙 12 210 專利代理師 付長杰 51 Int Cl G06T 7 00 2017 01 G06K 9 62 2022 01 G06N 3 04 2006 01 G06N 3 08 2006 01 G06T 7 11 2017 01 G06T 7 194 2017 01 G06T 7 62 2017 01 54 發(fā)明名稱 一種溫室生產(chǎn)環(huán)境下草莓白粉病快速檢測 方法 57 摘要 本發(fā)明為一種溫室生產(chǎn)環(huán)境下草莓白粉病 快速檢測方法 該方法包括 采集溫室草莓生產(chǎn) 環(huán)境下不同光照條件下白粉病發(fā)病葉片背面圖 像 在背面圖像上按照病害 發(fā)病葉片 其他葉片 進行標注 構(gòu)建DW YOLOv4網(wǎng)絡(luò) 網(wǎng)絡(luò)包 括骨干網(wǎng) 絡(luò)模塊和融合特征提取模塊兩部分 骨干網(wǎng)絡(luò)模 塊 使用五組基于深度可分離卷積的跨階段局部 網(wǎng)絡(luò)模塊進行串聯(lián)獲得 使用骨干網(wǎng)絡(luò)模塊中的 第3 4 5個基于深度可分離 卷積結(jié)構(gòu)的跨階段局 部網(wǎng)絡(luò)的三個輸出特征圖作為輸入 形成三個尺 度不同的輸出特征圖 將采集到的圖像輸入到 DW YOLOv4網(wǎng)絡(luò)中實現(xiàn)草莓葉片白粉病病害區(qū)域 及發(fā)病葉片的檢測 解決了草莓白粉病發(fā)病初期 檢測難的問題 實現(xiàn)了草莓白粉病的快速檢測及 病情定級 權(quán)利要求書6頁 說明書18頁 附圖5頁 CN 114549494 A 2022 05 27 CN 114549494 A 1 一種溫室生產(chǎn)環(huán)境下草莓白粉病快速檢測方法 該 方法包括以下內(nèi)容 采集溫室草莓生產(chǎn)環(huán)境下不同光照條件下白粉病發(fā)病葉片背面圖像 圖像背景為草莓 生長環(huán)境 在背面圖像上按照病害 發(fā)病葉片 其 他葉片進行 標注 制作數(shù)據(jù)集 構(gòu)建DW YOLOv4網(wǎng)絡(luò) 網(wǎng)絡(luò)包括骨干網(wǎng)絡(luò)模塊和融合特 征提取模塊兩 部分 骨干網(wǎng)絡(luò)模塊 使用五組基于深度可分離卷積的跨階段局部網(wǎng)絡(luò)模塊DW CSPNet進行 串 聯(lián)獲得 其中 DW CSPNet包括通過卷積核 大小為3 3的卷積層下采樣 卷積核大小為1 1的卷積層壓縮或擴充通道 卷積核為3 3的深度可分離卷積 通道拼接 特 征圖求和操作 融合特征提取模塊 使用骨干網(wǎng)絡(luò)模塊中的第3 4 5個基于深度可分離卷積結(jié)構(gòu)的跨 階段局部網(wǎng)絡(luò)DW CSPNet的三個輸出特征圖作為輸入 融合特征提取模塊包括最大池化 通 道拼接 卷積核大小為1 1的卷積層 上采樣 下采樣 最終形成三個尺度不同的輸出特征 圖 將采集到的圖像輸入到DW YOLOv4網(wǎng)絡(luò)中實現(xiàn)草莓葉片白粉病病害區(qū)域及發(fā)病葉片的 檢測 2 根據(jù)權(quán)利要求1所述的溫室生產(chǎn)環(huán)境下草莓白粉病快速檢測方法 其特征在于 根據(jù) 白粉病發(fā)病 病害區(qū)域 面積占發(fā)病葉片面積的占比得到病情指數(shù) 3 根據(jù)權(quán)利要求2所述的溫室生產(chǎn)環(huán)境下草莓白粉病快速檢測方法 其特征在于 所述 病情指數(shù)的具體 計算過程是 利用公式 24 計算融合調(diào)整系數(shù)的發(fā)病率 其中 a i表示第i片發(fā)病葉片的發(fā)病率 A表示病害的面積 j為第i片發(fā)病葉片上的第j個 發(fā)病點病害 n表示第i片發(fā)病葉片 上的發(fā)病點病害個數(shù) B i表示第i片發(fā)病葉片面積 表示 葉片面積調(diào)整系數(shù) 葉片面積調(diào)整系數(shù)計算方法為 使用二值化和OTSU對標記的發(fā)病葉片部分提取綠色像 素 數(shù)除以發(fā)病葉片標記框像素 數(shù) 計算單個葉片的病情指數(shù) 將病情分為1 9級 當發(fā)病率小于5 時 病情級別為1 當 發(fā)病率在5 25 之間時 病情級別為3 當發(fā)病率在25 50 之間時 病情級別為5 當發(fā) 病率在50 75 之間時 病情級別為7 當發(fā)病率大于75 時 病情級別為9 具體公式如 下 其中 i表示第i片發(fā)病葉片 根據(jù)公式 26 計算整體病情指數(shù) 其中 N 為發(fā)病葉片個數(shù) i 為第i片發(fā)病葉片 權(quán) 利 要 求 書 1 6 頁 2 CN 114549494 A 根據(jù)不同的發(fā)病程度通過經(jīng)驗數(shù)據(jù)會給出相應(yīng)的專家治療意見 不同病情指數(shù)對應(yīng)相 應(yīng)的專 家治療意見 4 根據(jù)權(quán)利要求2所述的溫室生產(chǎn)環(huán)境下草莓白粉病快速檢測方法 其特征在于 所述 葉片面積調(diào)整系數(shù)為0 6 0 7 5 根據(jù)權(quán)利要求1所述的溫室生產(chǎn)環(huán)境下草莓白粉病快速檢測方法 其特征在于 所述 基于深度可分離卷積的跨階段局部網(wǎng)絡(luò)DW CSPNet的流 程是 使用卷積核大小為3 3 步長為2 輸出通道數(shù)為C out的卷積層對輸入特征圖進行處理 之后分成兩個分支 第一個分支使用卷積核大小為1 1的卷積層壓縮通道 第二個分支使 用卷積核 大小為 1 1的卷積層壓縮通道 使用卷積核 大小為3 3的深度可分離卷積提取特 征 使用卷積核大小為1 1的卷積層擴充通道數(shù) 擴充通道數(shù)后的輸出與第二個分支壓縮 通道的結(jié)果進行加和 再將第二個分支的結(jié)果與第一個分支的結(jié)果進行通道拼接 使用卷 積核大小為1 1的卷積層壓縮通道 獲得輸出 特 征圖DW CS P 6 根據(jù)權(quán)利要求1所述的溫室生產(chǎn)環(huán)境下草莓白粉病快速檢測方法 其特征在于 所述 骨干網(wǎng)絡(luò)模塊的流 程是 輸入特征圖 使用三個基于深度可分離卷積的跨階段局部網(wǎng)絡(luò) 下采樣并擴充通道數(shù) 得到輸出特征圖DW CSP 1 輸出特征圖DW CSP 1一 方面直接輸出 另一 方面輸出至第四個基于 深度可分離卷積的跨階段局部網(wǎng)絡(luò) 下采樣并擴充通道數(shù) 得到輸出特征圖DW CSP 2 輸出 特征圖DW CSP 2一方面直接輸出 另一方面輸出至第五個基于深度可分離卷積的跨階段局 部網(wǎng)絡(luò) 下采樣并擴充通道數(shù) 得到輸出特征圖DW CSP 3 因此骨干網(wǎng)絡(luò)模塊共有三個輸出 分別為DW CS P1 DW CS P2和DW CS P3 7 根據(jù)權(quán)利要求1所述的溫室生產(chǎn)環(huán)境下草莓白粉病快速檢測方法 其特征在于 所述 融合特 征提取模塊用于對骨干網(wǎng)絡(luò)模塊的三個輸出進行融合 具體流 程是 對骨干網(wǎng)絡(luò)模塊的最后一個輸出特征圖使用卷積核大小為3 3的卷積層壓縮通道 之 后分別進 行步長為5 9 13的三個最大池化處理 這三個最大池化層為并聯(lián)關(guān)系即三者的輸 入均相同 再將三個最大池化處理后的結(jié)果與上一步3 3的卷積層壓縮通道后的結(jié)果進 行 通道拼接 再次使用卷積核大小為1 1的卷積層壓縮通道獲得特征圖D 4 3 特征圖D 4 3一方 面經(jīng)上采樣后與骨干網(wǎng)絡(luò)模塊的第二個輸出特征圖進 行通道拼接 之后再經(jīng)卷積核大小為 1 1的卷積層獲得特征圖D 4 4 特征圖D 4 4一方面經(jīng)卷積核大小為1 1的卷積層壓縮通道后 進行上采樣 再與骨干網(wǎng)絡(luò)模塊的第一個輸出特征圖進行通道拼接 之后使用卷積核大小 為3 3的卷積層壓縮通道獲得特征圖D 4 5 特征圖D 4 5一方面使用卷積核大小為3 3 步長 為2的卷積層下采樣并擴充通道后再與特征圖D 4 4進 行通道 拼接 二者通道 拼接后的結(jié)果使 用卷積核大小為3 3的卷積層壓縮通道獲得特征圖D 4 6 特征圖D 4 6一方面使用卷積核大小 為3 3 步長為2的卷積層下采樣并擴充通道后再與特征圖D 4 3進行通道拼接 通道拼接后 的結(jié)果使用卷積核大小為3 3的卷積層壓縮通道獲得特征圖D 4 7 特征圖D 4 7經(jīng)卷積核大小 為1 1的卷積層調(diào)整通道獲得輸出 特 征圖D 4 8 3 特征圖D 4 6另一方面也使用卷積核大小為1 1的卷積層調(diào)整通道獲得輸出特征圖 D4 8 2 特征圖D 4 5另一方面也使用卷積核大小為1 1的卷積層調(diào)整通道獲得輸出特征圖 D4 8 1 特 征圖D 4 8 3 特 征圖D 4 8 2 特 征圖D 4 8 1為融合特 征提取模塊的三個輸出 8 一種溫室生產(chǎn)環(huán)境下草莓白粉病快速檢測方法 該檢測方法的具體步驟是 權(quán) 利 要 求 書 2 6 頁 3 CN 114549494 A 第一 步 采集溫室生產(chǎn)環(huán)境下草莓葉片病害圖像數(shù)據(jù) 并制作數(shù)據(jù)集 第1 1步 在日光溫室草莓生產(chǎn)環(huán)境下 設(shè)置多個采樣點 采集不同光照條件真實生產(chǎn) 環(huán)境下 的草莓病害葉片背面圖像 采樣點應(yīng)盡量覆蓋到了整個溫室 病害葉片背面需要人 工翻葉片 但是葉片不脫離植物 采樣的時候背景是包含非所觀察的病害葉片的其它葉片 的 第1 2步 基于采樣點抽選 找到發(fā)病葉片就采集 一旦發(fā)現(xiàn)病害發(fā)生 開始對觀測的每 株全部葉片進行分辨 拍照 全部圖像獲取均由專業(yè)人員人工觀測獲得 第1 3步 使用labelimg工具標注圖像 按照病害 powdery mildew 發(fā)病葉片 leaf with disease 其他葉片 leaf without disease 進行標注 即將病害所在位置框選出 來 將病害所在整個葉片即發(fā)病葉片框選 除發(fā)病葉片以外的肉眼可見 的葉片輪廓為其他 葉片將其框選出來 對于圖片中虛化嚴重的葉片 如果邊緣區(qū)域無法肉眼辨識 則不予標 記 第1 4步 生成數(shù)據(jù)集 將不同光照背景環(huán)境下采集標注后含病害的所有圖像制作數(shù)據(jù) 集 每張圖片會包含三種標注中的一個或多個 其中病害和發(fā)病葉片都至少會有一個 其他 葉片可能沒有 也可能有 多個 第二 步 圖像預(yù)處 理 第2 1步 將上述第1 4步得到數(shù)據(jù)集中的圖像作為輸入 通過亮數(shù)據(jù)增強手段進行處 理 并使用mosaic方法進行拼接 形成增強后圖像 第2 2步 將第 1步增強后圖像隨機縮放到 32的10 19倍進行訓練 第三步 使用基于深度可分離卷積的跨階段局部網(wǎng)絡(luò) DW CSPNet 構(gòu)建DW YOLOv4的骨 干網(wǎng)絡(luò)模塊 第3 1步 構(gòu)建基于深度可分離卷積的跨階段局部網(wǎng)絡(luò)模塊 DW CSPNet 第3 1 1步 以上一步的輸出圖像D作為輸入 送入卷積核大小為3 3 步長為2 輸出通 道數(shù)為C out的下采樣層進行圖像處 理 形成特 征圖D 1 如公式 1 所示 其中 表示卷積核大小為3 3 步長為2 含歸一化和LeakyReLU激活函數(shù)的卷積操 作 第3 1 2步 處理后的結(jié)果分成2個分支 一個分支使用卷積核大小為1 1的卷積層壓 縮通道 形成特 征圖D 2 如公式 2 所示 D2 1 D1 2 其中 1表示卷積核大小為1 1 含 歸一 化和LeakyReLU激活函數(shù)的卷積 操作 第3 1 3步 另一個分支經(jīng)過卷積 核大小 為1 1的卷積層壓縮通道 形 成特征圖D 3 使用 卷積核大小為3 3的深度可分離卷積和卷積核大小為1 1的卷積層對D 3進行特征提取 并 與D 3進行求和得到特 征圖D 4 如公式 3 所示 D3 1 D1 D4 1 3 D3 D3 3 其中 3表示3 3 含歸一化和LeakyReLU激活函數(shù)的深度可分離卷積操作 表示特征 圖求和操作 第3 1 4步 將D 2和D 4進行通道拼接后再使用卷積核大小為1 1的卷積層進行通道壓 縮 形成基于深度可分離卷積的跨階段局部網(wǎng)絡(luò)模塊的輸出特征圖DW CSP 具體如公 式 4 權(quán) 利 要 求 書 3 6 頁 4 CN 114549494 A 所示 將基于深度可分離卷積的跨階段局部網(wǎng)絡(luò)模塊記為f DW CSP 如公式 5 所示 DW CSP f DW CSP D 5 其中 表示特 征圖拼接操作 設(shè)輸入圖像D寬 高 通道數(shù)分別為w 0 h 0 c 0 通過DW CSPNet處理的特征圖維度發(fā)生改 變 輸出特征圖DW CSP的寬 高 通道數(shù)分別為w 0 2 h 0 2 c 0 即達到下采樣同時增加深度 的目的 第3 2步 構(gòu)建DW YOLOv4的骨干網(wǎng)絡(luò) 五個基于深度 可分離卷積的跨階段局部網(wǎng)絡(luò)依次串聯(lián) 第 三個基于深度 可分離卷積的 跨階段局部網(wǎng)絡(luò)的輸出記為特征圖DW CSP 1 如公式 6 所示 第四個基于深度可分離卷積 的跨階段局部網(wǎng)絡(luò)的輸出記為特征圖DW CSP 2 如公式 7 所示 第五個基于深度可分離卷 積的跨階段局部網(wǎng)絡(luò)的輸出記為特征圖DW CSP 3 如公式 8 所示 特征圖DW CSP 1 特征圖 DW CSP2和特 征圖DW CS P3將作為輸入特 征圖 參與到第四步融合特 征提取模塊的計算 DW CSP1 f DW CSP fDW CSP fDW CSP D 6 DW CSP2 f DW CSP DW CSP1 7 DW CSP3 f DW CSP DW CSP2 8 其中 第一個 基于深度可分離卷積的跨階段局部網(wǎng)絡(luò)的輸出通道數(shù)為32 第四步 構(gòu)建DW YOLOv4的融合特 征提取模塊 第4 1步 以DW CSP 3為輸入 使用3 3的卷積 進行通道壓縮 得到特征圖D 4 1 如公式 9 所示 D4 1 3 DW CSP3 9 其中 3表示卷積核大小為3 3 含 歸一 化和LeakyReLU激活函數(shù)的卷積 操作 第4 2步 對D 4 1進行步長為5 9 13的最大池化 將得到的結(jié)果與D 4 1進行通道拼接 得 到特 征圖D 4 2 如公式 10 所示 其中 5 9 13分別表示 步長為5 9 13的最大池化操作 第4 3步 使用1 1的卷積核對D 4 2進行通道壓縮 得到特 征圖D 4 3 如公式 1 1 所示 D4 3 1 D4 2 11 第4 4步 使用1 1的卷積 對D 4 3進行通道 壓縮后進行上采樣 與DW CSP 2進行通道拼接 再使用1 1的卷積核 進行通道壓縮 得到特 征圖D 4 4 如公式 12 所示 其中 為上采樣 操作 第4 5步 使用1 1的卷積 對D 4 4進行通道 壓縮后進行上采樣 與DW CSP 1進行通道拼接 再使用3 3的卷積核 進行通道壓縮 得到特 征圖D 4 5 如公式 13 所示 第4 6步 使用大小為3 3 步長為2的卷積核對D 4 5進行下采樣及通道擴充 與D 4 4拼接 后再使用3 3的卷積核 進行通道壓縮 得到特 征圖D 4 6 如公式 14 所示 權(quán) 利 要 求 書 4 6 頁 5 CN 114549494 A 第4 7步 使用大小為3 3 步長為2的卷積核對D 4 6進行下采樣及通道擴充 與D 4 3拼接 后再使用3 3的卷積核 進行通道壓縮 得到特 征圖D 4 7 如公式 15 所示 第4 8步 使用三個1 1的卷積分別對D 4 5 D4 6 D4 7調(diào)整輸出維度 形成最終特征圖 D4 8 1 D4 8 2 D4 8 3 如公式 16 所示 D4 8 1 1 D4 5 D4 8 2 1 D4 6 D4 8 2 1 D4 7 16 其中 卷積 1為卷積核大小為1 1的不含 歸一 化和LeakyReLU激活函數(shù)的卷積 操作 至此完成DW YOLOv4的融合特 征提取模塊的構(gòu)建 第五步 使用結(jié)合CIOU和指數(shù)增 強二值交叉熵的損失函數(shù)計算第4 8步輸出的預(yù)測值 與實際值之間的損失 第4 8步輸出的預(yù)測值包括目標框中心 點坐標 寬度 高度 類別以及 置信度 總損失 公式為式 23 其中 為目標檢測任務(wù)的損失函數(shù) 為使用指數(shù)增強二值交叉熵表示類別預(yù)測 值與實際值的損失 為使用二 值交叉熵計算的置信度損失 第六步 對經(jīng)損失計算后的模型 預(yù)測結(jié)果進行非極大值抑制NMS 并進行 結(jié)果調(diào)整 第6 1步 使用NMS對經(jīng)損失計算后的模型預(yù)測結(jié)果進行處理 得出病害 powdery mildew 發(fā)病葉片 leaf with disease 其他葉片 leaf without disease 三類目標中 未超出NMS閾值的預(yù)測結(jié)果 包括目標框中心點 坐標 寬度 高度 類別以及置信度 第6 2步 對非極大值抑制后的預(yù)測結(jié)果進行調(diào)整 由于病害一定發(fā)生在葉片上 但第6 1步所獲得的預(yù)測結(jié)果并不一定會識別出發(fā)病葉 片 當圖片識別 出了病害 但沒有識別 出發(fā)病葉片時 將與病害的IoU最大的其他葉片類別 調(diào)整為 發(fā)病葉片 如果沒有任何葉片與 識別出的病害的IoU 0則剔除該發(fā)病點 確保全部檢 測出的病害都有發(fā)病葉片與之對應(yīng) 骨干網(wǎng)絡(luò)模塊和融合特征提取模塊 損失計算和非極大值抑制并調(diào)整共同構(gòu)成DW YOLOv4網(wǎng)絡(luò) 第七步 計算病情指數(shù) 病情指數(shù)的具體 計算過程是 利用公式 24 計算融合調(diào)整系數(shù)的發(fā)病率 其中 a i表示第i片發(fā)病葉片的發(fā)病率 A表示病害的面積 j為第i片發(fā)病葉片上的第j個 發(fā)病點病害 n表示第i片發(fā)病葉片 上的發(fā)病點病害個數(shù) B i表示第i片發(fā)病葉片面積 表示 葉片面積調(diào)整系數(shù) 葉片面積調(diào)整系數(shù)計算方法為 使用二值化和OTSU對標記的發(fā)病葉片部分提取綠色像 素 數(shù)除以發(fā)病葉片標記框像素 數(shù) 計算單個葉片的病情指數(shù) 將病情 分為1 9級 當發(fā)病率小于5 時 病情級別為1 當 發(fā)病率在5 25 之間時 病情級別為3 當發(fā)病率在25 50 之間時 病情級別為5 當發(fā) 權(quán) 利 要 求 書 5 6 頁 6 CN 114549494 A 病率在50 75 之間時 病情級別為7 當發(fā)病率大于75 時 病情級別為9 具體公式如 下 其中 i表示第i片發(fā)病葉片 根據(jù)公式 26 計算整體病情指數(shù) 其中 N 為發(fā)病葉片個數(shù) i 為第i片發(fā)病葉片 根據(jù)不同的發(fā)病程度通過經(jīng)驗數(shù)據(jù)會給出相應(yīng)的專家治療意見 不同病情指數(shù)對應(yīng)相 應(yīng)的專 家治療意見 至此 完成了溫室生產(chǎn)環(huán)境下基于DW YOLOv4的草莓白粉病快速檢測 和病情定量評估 9 一種草莓白粉病快速檢測系統(tǒng) 包括存儲器和處理器 存儲器存儲權(quán)利要求1 8中任 一所述的DW YOLOv4網(wǎng)絡(luò)和病情指數(shù)計算 存儲器上的程序用于被處理器加載時執(zhí)行上述 的檢測方法 10 根據(jù)權(quán)利要求9所述的所述草莓白粉病快速檢測系統(tǒng) 其特征在于 該檢測系統(tǒng)集 成到智能終端 上 智能終端為手機 iPad或筆記本 農(nóng)民拍照葉片 系統(tǒng)識別病情程度 給出 治療意見 權(quán) 利 要 求 書 6 6 頁 7 CN 114549494 A 一種溫室生產(chǎn)環(huán)境下草莓白粉病快速檢測方 法 技術(shù)領(lǐng)域 0001 本發(fā)明的技術(shù)方案涉及草莓白粉病檢測技術(shù)領(lǐng)域 具體地說是一種基于DW YOLOv4溫室生產(chǎn)環(huán)境下草莓白粉病快速檢測方法 背景技術(shù) 0002 草莓是近年來深受用戶喜愛的高價值水果之一 在北方于每年8 9月份定植 到次 年3 4月結(jié)束 由于是越冬茬 草莓通常在溫室中進 行培育 受溫室溫室結(jié)構(gòu)影響 草莓種植 期間易出現(xiàn)濕度大 光照不足 通風不良等問題 為草莓真菌性病害發(fā)生提供了溫床 白粉 病 是近年來草莓生產(chǎn)上普遍發(fā)生的一種危害嚴重的病害 該病害發(fā)生流行頻率高 經(jīng)濟損 失較高 發(fā)生白粉病后 草莓一般減產(chǎn)20 30 嚴重時可達50 以上 甚至絕 收 嚴重影 響草莓的產(chǎn)量和品質(zhì) 草莓白粉病在發(fā)病初期 受害部位會覆蓋一層白色粉狀物 表現(xiàn)為葉 面出現(xiàn)白色菌絲 隨著病情加重 葉片產(chǎn)生暗斑和白色粉狀物 葉緣上卷 后期病斑變紅褐 色 葉質(zhì)變脆 葉緣萎縮 焦枯 目前白粉病的發(fā)現(xiàn)主要靠人工檢驗 周期 長 發(fā)現(xiàn)滯后 并且 發(fā)現(xiàn)后病情診斷 如何施藥等措施由于缺少專家參與極易出現(xiàn)農(nóng)戶施用藥品種類 藥量不 準確情況 進一步造成產(chǎn)量 品質(zhì)的損失以及環(huán)境的污染 即便專家現(xiàn)場協(xié)助指導(dǎo) 但由于 觀察數(shù)量有限 同樣存在估算病情指數(shù)依據(jù)經(jīng)驗 數(shù)據(jù)不準確的情況 隨著人工智能的發(fā) 展 使用計算機視覺技術(shù)進 行病害的識別 病情的診斷成為了可能性 使用視覺技術(shù)可以實 現(xiàn)更多點位的病情監(jiān)控 并進 行病情診斷 給出合理的施治方案 因此在真實生產(chǎn) 環(huán)境對草 莓葉片白粉病害 進行 快速檢測 和識別成為了智能農(nóng)業(yè)的主 要研究方向之一 0003 Jaemyung Shin等人在 Adeep learning approach for RGB image based powdery mildew disease detection on strawberry leaves 中對比了使用AlexNet SqueezeNet GoogLeNet ResNet 50 Squeez eNet MOD1和SqueezeNet MOD2六種網(wǎng)絡(luò)進行草 莓葉片白粉病識別的效果 確定使用ResNet 50識別率更高 使用SqueezeNet MOD2識別率 略低于ResNet 50 但 其所使用的數(shù)據(jù)集是實驗室環(huán) 境簡單背 景下的圖像 僅能判別葉片是 否為發(fā)病葉 沒有對病害的位置進行檢測 也沒有對發(fā)病程度進行估算 Patrick Wspanialy等人在 A detection and severity estimation system for generic diseases of tomato greenhouse plants 中提出了一種溫室種植番茄病害嚴重程度評估 方法 但使用的同樣是針對實驗室簡單環(huán)境下采集的葉片病害樣本 對病害的識別使用的 是實例分割方法 識別的葉片和病害邊緣是不規(guī)則的區(qū)域 算法運行速度 慢 難以在實際應(yīng) 用中推廣 公布號為CN 112150481 A的中國專利公開一種白粉病圖像分割方法 使用的是 白粉病灰度圖進 行病害點 實例分割 再用白粉病病害區(qū)域的像素點占采集圖像的像素點的 比例計算發(fā)病程度 其分母為采集圖像的像素點 并非完整葉片的像素點 容易在發(fā)病程度 計算上存在偏差 且實例分割的算法效率往往低于目標檢測算法的識別效率 不能滿足實 際應(yīng)用中實時性的要求 說 明 書 1 18 頁 8 CN 114549494 A 發(fā)明內(nèi)容 0004 針對現(xiàn)有技術(shù)的不足 本發(fā)明所要解決的技術(shù)問題是 提出一種溫室生產(chǎn)環(huán)境下 基于DW YOLOv4 Depthwise separable You Only Look Once v4 深度可分離YOLOv 4網(wǎng)絡(luò) 的草莓白粉病快速檢測方法 該方法將深度可分離卷積結(jié)構(gòu)嵌入到Y(jié)OLOv4框架中 通過多 尺度目標檢測實現(xiàn)了對草莓葉片白粉病病害區(qū)域和發(fā)病葉片的檢測 并基于病害檢測區(qū)域 面積預(yù)估病情指數(shù) 解決了草莓白粉病發(fā)病初期檢測難的問題 實現(xiàn)了草莓白粉病的快速 檢測及病情定級 0005 本發(fā)明解決所述技術(shù)問題所采用的技術(shù)方案是 一種溫室生產(chǎn)環(huán)境下草莓白粉病 快速檢測方法 該 方法包括以下內(nèi)容 0006 采集溫室草莓生產(chǎn)環(huán)境下不同光照條件下白粉病發(fā)病葉片背面圖像 圖像背景為 草莓生長環(huán)境 在背面圖像上按照病害 發(fā)病葉片 其 他葉片進行 標注 制作數(shù)據(jù)集 0007 構(gòu)建DW YOLOv4網(wǎng)絡(luò) 網(wǎng)絡(luò)包括骨干網(wǎng)絡(luò)模塊和融合特 征提取模塊兩 部分 0008 骨干網(wǎng)絡(luò)模塊 使用五組基于深度可分離卷積的跨階段局部網(wǎng)絡(luò)模塊DW CSPNet 進行串聯(lián)獲得 其中 DW CSPNet包括通過卷積核大小為3 3的卷積層下采樣 卷積核大小 為 1 1的卷積層壓縮或擴充通道 卷積核為3 3的深度可分離卷積 通道 拼接 特征圖求和 操作 0009 融合特征提取模塊 使用骨干網(wǎng)絡(luò)模塊中的第3 4 5個基于深度可分離卷積結(jié)構(gòu) 的跨階段局 部網(wǎng)絡(luò)DW CSPNet的三個輸出特征圖作為輸入 融合特征提取模塊包括最大池 化 通道 拼接 卷積核 大小為1 1的卷積層 上采樣 下采樣 最 終形成三個尺度不同的輸出 特 征圖 0010 將采集到的圖像輸入到D W YOLOv4網(wǎng)絡(luò)中實現(xiàn)草莓葉片白粉病病害區(qū)域及發(fā)病葉 片的檢測 0011 根據(jù)白粉病發(fā)病 病害區(qū)域 面積占發(fā)病葉片面積的占比得到病情指數(shù) 0012 所述病情指數(shù)的具體 計算過程是 0013 利用公式 24 計算融合調(diào)整系數(shù)的發(fā)病率 0014 0015 其中 a i表示第i片發(fā)病葉片的發(fā)病率 A表示病害的面積 j為第i片發(fā)病葉片上的 第j個發(fā)病點病害 n表示第i片發(fā)病葉片 上的發(fā)病點病害個數(shù) B i表示第i片發(fā)病葉片面積 表示葉片面積調(diào)整系數(shù) 0016 葉片 面積調(diào)整系數(shù)計算方法為 使用二值化和OTSU對標記的發(fā)病葉片部分提取綠 色像素 數(shù)除以發(fā)病葉片標記框像素 數(shù) 0017 計算單個葉片的病情指數(shù) 將病情分為1 9級 當發(fā)病率小于5 時 病情級別為 1 當發(fā)病率在5 25 之間時 病情級別為3 當發(fā)病率在25 50 之間時 病情級別為5 當發(fā)病率在50 75 之間時 病情級別為7 當發(fā)病率大于 5 時 病情級別為9 具體公 式 如下 說 明 書 2 18 頁 9 CN 114549494 A 0018 0019 其中 i表示第i片發(fā)病葉片 0020 根據(jù)公式 26 計算整體病情指數(shù) 0021 0022 其中 N 為發(fā)病葉片個數(shù) i 為第i片發(fā)病葉片 0023 根據(jù)不同的發(fā)病程度通過經(jīng)驗數(shù)據(jù)會給出相應(yīng)的專家治療意見 不同病情指數(shù)對 應(yīng)相應(yīng)的專 家治療意見 0024 該檢測方法的具體步驟是 0025 第一 步 采集溫室生產(chǎn)環(huán)境下草莓葉片病害圖像數(shù)據(jù) 并制作數(shù)據(jù)集 0026 第1 1步 在日光溫室草莓生產(chǎn)環(huán)境下 設(shè)置多個采樣點 采集不同光照條件真實 生產(chǎn)環(huán)境下 的草莓病害葉片背面圖像 采樣點應(yīng)盡量覆蓋到了整個溫室 病害葉片背面需 要人工翻葉片 但是葉片不脫離植物 采樣的時候背景是包含非所觀察的病害葉片的其它 葉片的 0027 第1 2步 基于采樣 點抽選 找到 發(fā)病葉片就采集 一旦發(fā)現(xiàn)病害發(fā)生 開始對觀測 的每 株全部葉片進行分辨 拍照 全部圖像獲取均由專業(yè)人員人工觀測獲得 0028 第1 3步 使用labelimg工具標注圖像 按照病害 powdery mildew 發(fā)病葉片 leaf with disease 其他葉片 leaf without disease 進行標注 即將病害所在位置框 選出來 將病害所在整個葉片即發(fā)病葉片框選 除發(fā)病葉片以外的肉眼可見 的葉片輪廓為 其他葉片將其框選出來 對于圖片中虛 化嚴重的葉片 如果邊緣區(qū)域無法肉 眼辨識 則不 予 標記 0029 第1 4步 生成數(shù)據(jù)集 將不同光照背景環(huán)境下采集標注后含病害的所有圖像制作 數(shù)據(jù)集 每張圖片會包含三種標注中的一個或多個 其中病害和發(fā)病葉片都至少會有一個 其 他葉片可能沒有 也可能有 多個 0030 第二 步 圖像預(yù)處 理 0031 第2 1步 將上述第 4步得到數(shù)據(jù)集中的圖像作為輸入 通過數(shù)據(jù)增強手段進行 處 理 并使用mosaic方法進行拼接 形成增強后圖像 0032 第2 2步 將第 1步增強后圖像隨機縮放到 32的10 19倍進行訓練 0033 第三步 使用基于深度可分離卷積的跨階段局部網(wǎng)絡(luò) DW CSPNet 構(gòu)建DW YOLOv4 的骨干網(wǎng)絡(luò)模塊 0034 第3 1步 構(gòu)建基于深度可分離卷積的跨階段局部網(wǎng)絡(luò)模塊 DW CSPNet 0035 第3 1 1步 以上一步的輸出圖像D作為輸入 送入卷積核大小為3 3 步長為2 輸 出通道數(shù)為C out的下采樣層進行圖像處 理 形成特 征圖D 1 如公式 1 所示 0036 0037 其中 表示 卷積核大小為3 3 步長 為2 含歸一化和L eakyReLU激活函 數(shù)的卷積 說 明 書 3 18 頁 10 CN 114549494 A 操作 0038 第3 1 2步 處理后的結(jié)果分成2個分支 一個分支使用卷積核大小為1 1的卷積 層壓縮通道 形成特 征圖D 2 如公式 2 所示 0039 D2 1 D1 2 0040 其中 1表示卷積核大小為1 1 含 歸一 化和LeakyReLU激活函數(shù)的卷積 操作 0041 第3 1 3步 另一個分支經(jīng)過卷積核大小為1 1的卷積層壓縮通道 形成特征圖 D3 使用卷積核大小為3 3的深度 可分離卷積和卷積核大小為1 1的卷積層對D 3進行特征 提取 并與D 3進行求和得到特 征圖D 4 如公式 3 所示 0042 D3 1 D1 D 4 1 3 D3 D3 3 0043 其 中 3表示3 3 含歸一化和LeakyReLU激活函數(shù)的深度可分離卷積操作 表示 特 征圖求和操作 0044 第3 1 4步 將D 2和D 4進行通道拼接后再使用卷積 核大小 為1 1的卷積層進行通道 壓縮 形成基于深度可分離卷積的跨階段局 部網(wǎng)絡(luò)模塊的輸出特征圖DW CSP 具體如公式 4 所示 將基于深度可分離卷積的跨階段局部網(wǎng)絡(luò)模塊記為f DW CSP 如公式 5 所示 0045 0046 DW CSP f DW CSP D 5 0047 其中 表示特 征圖拼接操作 0048 設(shè)輸入圖像D寬 高 通道數(shù)分別為w 0 h 0 c 0 通過DW CSPNet處理的特征圖維度發(fā) 生改變 輸出特征圖DW CSP的寬 高 通道數(shù)分別為w 0 2 h 0 2 c 0 即達到下采樣同時增加 深度的目的 0049 第3 2步 構(gòu)建DW YOLOv4的骨干網(wǎng)絡(luò) 0050 五個基于深度可分離卷積的跨階段局部網(wǎng)絡(luò)依次串聯(lián) 第三個基于深度可分離卷 積的跨階段局部網(wǎng)絡(luò)的輸出記為特征圖DW CSP 1 如公式 6 所示 第四個基于深度可分離 卷積的跨階段局部網(wǎng)絡(luò)的輸出記為特征圖DW CSP 2 如公式 7 所示 第五個基于深度可分 離卷積的跨階段局部網(wǎng)絡(luò)的輸出記為特征圖DW CSP 3 如公式 8 所示 特征圖DW CSP 1 特征 圖DW CS P2和特 征圖DW CS P3將作為輸入特 征圖 參與到第四步融合特 征提取模塊的計算 0051 DW CSP1 f DW CSP fDW CSP fDW CSP D 6 0052 DW CSP2 f DW CSP DW CSP1 7 0053 DW CSP3 f DW CSP DW CSP2 8 0054 其中 第一個基于深度可分離卷積的跨階段局部網(wǎng)絡(luò)的輸出通道數(shù)為32 其他按 照步驟3 1中的輸出通道數(shù)規(guī)則處 理 0055 第四步 構(gòu)建DW YOLOv4的融合特 征提取模塊 0056 第4 1步 以DW CSP 3為輸入 使用3 3的卷積 進行通道壓縮 得到特征圖D 4 1 如 公式 9 所示 0057 D4 1 3 DW CSP3 9 0058 其中 3表示卷積核大小為3 3 含 歸一 化和LeakyReLU激活函數(shù)的卷積 操作 0059 第4 2步 對D 4 1進行步長為5 9 13的最大池化 將得到的結(jié)果與D 4 1進行通道拼 接 得到特 征圖D 4 2 如公式 10 所示 0060 說 明 書 4 18 頁 11 CN 114549494 A 0061 其中 5 9 13分別表示 步長為5 9 13的最大池化操作 0062 第4 3步 使用1 1的卷積核對D 4 2進行通道壓縮 得到特征圖D 4 3 如公式 11 所 示 0063 D4 3 1 D4 2 11 0064 第4 4步 使用1 1的卷積對D 4 3進行通道壓縮后進行上采樣 與DW CSP 2進行通道 拼接 再使用1 1的卷積核 進行通道壓縮 得到特 征圖D 4 4 如公式 12 所示 0065 0066 其中 為上采樣 操作 0067 第4 5步 使用1 1的卷積對D 4 4進行通道壓縮后進行上采樣 與DW CSP 1進行通道 拼接 再使用3 3的卷積核 進行通道壓縮 得到特 征圖D 4 5 如公式 13 所示 0068 0069 第4 6步 使用大小為3 3 步長為2的卷積核對D 4 5進行下采樣及通道擴充 與D 4 4 拼接后再使用3 3的卷積核 進行通道壓縮 得到特 征圖D 4 6 如公式 14 所示 0070 0071 第4 7步 使用大小為3 3 步長為2的卷積核對D 4 6進行下采樣及通道擴充 與D 4 3 拼接后再使用3 3的卷積核 進行通道壓縮 得到特 征圖D 4 7 如公式 15 所示 0072 0073 第4 8步 使用三個l 1的卷積分別對D 4 5 D 4 6 D 4 7調(diào)整輸出維度 形成最終特征 圖D 4 8 1 D 4 8 2 D 4 8 3 如公式 16 所示 0074 D4 8 1 1 D4 5 D 4 8 2 1 D4 6 D 4 8 2 1 D4 7 16 0075 其中 卷積 1為卷積核大小為1 1的不含歸一化和LeakyReLU激活函數(shù)的卷積操 作 至此完成DW YOLOv4的融合特 征提取模塊的構(gòu)建 0076 第五步 使用結(jié)合CIOU和指數(shù)增強二值交叉熵的損失函數(shù)計算第4 8步輸出的預(yù) 測值與實際值之間的損失 第4 8步輸出的預(yù)測值包括目標框中心 點坐標 寬度 高度 類別 以及置信度 0077 總損失 公式為式 23 0078 0079 其中 為目標檢測任務(wù)的損失函數(shù) 為使用 指數(shù)增強二值交叉熵表示類 別預(yù)測值與實際值的損失 為使用二 值交叉熵計算的置信度損失 0080 第六步 對經(jīng)損失計算后的模型 預(yù)測結(jié)果進行非極大值抑制NMS 并進行 結(jié)果調(diào)整 0081 第6 1步 使用NMS對經(jīng)損失計算后的模型預(yù)測結(jié)果進行處理 得出病害 powdery mildew 發(fā)病葉片 leaf with disease 其他葉片 leaf without disease 三類目標中 未超出NMS閾值的預(yù)測結(jié)果 包括目標框中心點 坐標 寬度 高度 類別以及置信度 0082 第6 2步 對非極大值抑制后的預(yù)測結(jié)果進行調(diào)整 0083 由于病害一定發(fā)生在葉片上 但第6 1步所獲得的預(yù)測結(jié)果并不一定會識別出發(fā) 病葉片 當圖片識別出了病害 但沒有識別出發(fā)病葉片時 將與病害的IoU最大的其他葉片 類別調(diào)整為發(fā)病葉片 如果沒有任何葉片與識別 出的病害的IoU 0則剔除該發(fā)病點 確保 說 明 書 5 18 頁 12 CN 114549494 A 全部檢測出的病害都有發(fā)病葉片與之對應(yīng) 0084 骨干網(wǎng)絡(luò)模塊和融合特征提取模塊 損失計算和非極大值抑制并調(diào)整共同構(gòu)成 DW YOLOv4網(wǎng)絡(luò) 0085 第七步 計算病情指數(shù) 0086 病情指數(shù)的具體 計算過程是 0087 利用公式 24 計算融合調(diào)整系數(shù)的發(fā)病率 0088 0089 其中 a i表示第i片發(fā)病葉片的發(fā)病率 A表示病害的面積 j為第i片發(fā)病葉片上的 第j個發(fā)病點病害 n表示第i片發(fā)病葉片 上的發(fā)病點病害個數(shù) B i表示第i片發(fā)病葉片面積 表示葉片面積調(diào)整系數(shù) 0090 葉片 面積調(diào)整系數(shù)計算方法為 使用二值化和OTSU對標記的發(fā)病葉片部分提取綠 色像素 數(shù)除以發(fā)病葉片標記框像素 數(shù) 0091 計算單個葉片的病情指數(shù) 將病情分為1 9級 當發(fā)病率小于5 時 病情級別為 1 當發(fā)病率在5 25 之間時 病情級別為3 當發(fā)病率在25 50 之間時 病情級別為5 當發(fā)病率在50 75 之間時 病情級別為7 當發(fā)病率大于 5 時 病情級別為9 具體公 式 如下 0092 0093 其中 i表示第i片發(fā)病葉片 0094 根據(jù)公式 26 計算整體病情指數(shù) 0095 0096 其中 N 為發(fā)病葉片個數(shù) i 為第i片發(fā)病葉片 0097 根據(jù)不同的發(fā)病程度通過經(jīng)驗數(shù)據(jù)會給出相應(yīng)的專家治療意見 不同病情指數(shù)對 應(yīng)相應(yīng)的專 家治療意見 0098 至此 完成了溫室生產(chǎn)環(huán)境下基于DW YOLOv4的草莓白粉病快速檢測和病情定量 評估 0099 本發(fā)明還保護一種草莓白粉病快速檢測系統(tǒng) 包括存儲器和處理器 存儲器存儲 所述的DW YOLOv4網(wǎng)絡(luò)和病情指數(shù)計算 存儲器上的程序用于被處理器加載時執(zhí)行上述的 檢測方法 0100 本發(fā)明的有益效果是 0101 1 本 發(fā)明方法使用深度可分離卷積提取特征 大大減少了模型所需參數(shù)量 在減 少模型大小的基礎(chǔ)上不降低準確程度 識別速度更快 DW YOLOv4模型大小為20 7MB YOLOv4模型大小為256 1MB 相比YOLOv4模型DW YOLOv4模型更適于在移動設(shè)備上部署 同 時檢測速度也有明顯提升 DW YOLOv4檢測速度為264fps遠高于 YOLOv4的68fps檢測速度 說 明 書 6 18 頁 13 CN 114549494 A 0102 2 本發(fā)明構(gòu)建的DW YOLOv4網(wǎng)絡(luò) 包括基于深度可分離卷積結(jié)構(gòu)的骨 干模塊和融 合特征提取模塊 將不同層的特征圖在融合特征提取模塊進行融合 能夠同時保留淺層和 深層 網(wǎng)絡(luò)提取 的特征 提升網(wǎng)絡(luò)對不同大小目標的識別能力 克服了由于白粉病發(fā)病早期 病害面積小 受光照干擾大 難以檢測的問題 0103 3 本發(fā)明檢測方法使用指數(shù)增強二值交叉熵優(yōu)化了損失函數(shù) 來解決病害與葉 片數(shù)量 不平衡的問題 能夠幫助DW YOLOv4網(wǎng)絡(luò)更加關(guān)注類別 信息 0104 4 本發(fā)明在檢測出草莓白粉病病害 發(fā)病葉片基礎(chǔ)上進一步提出了葉片融合調(diào) 整系數(shù)的病情指數(shù)計算方法 克