基于顯著性特征的蝴蝶蘭組培苗夾取點(diǎn)檢測(cè)方法.pdf

農(nóng)業(yè)信息與電氣技術(shù) 基于顯著性特征的蝴蝶蘭組培苗夾取點(diǎn)檢測(cè)方法 苑 朝 張 鑫 王家豪 趙明雪 徐大偉 華北電力大學(xué)自動(dòng)化系 保定 071000 摘 要 為了提高蝴蝶蘭自動(dòng)化快速繁育過程中組培苗夾取點(diǎn)視覺檢測(cè)的適應(yīng)性和效率 該研究提出了一種基于改進(jìn) U2 Net顯著性檢測(cè)網(wǎng)絡(luò) MBU2 Net 的組培苗夾取點(diǎn)定位方法 首先 通過顯著性檢測(cè)網(wǎng)絡(luò)得到蝴蝶蘭組培苗的顯著 性圖像 然后 對(duì)顯著性圖像進(jìn)行骨架提取 并經(jīng)過形態(tài)學(xué)分析計(jì)算定位組培苗夾取點(diǎn) 最后 將夾取點(diǎn)位置數(shù)據(jù)發(fā)送 給機(jī)械臂進(jìn)行夾取 在圖像顯著性檢測(cè)試驗(yàn)中 MBU2 Net 的平均絕對(duì)誤差為0 002 最大F1分?jǐn)?shù)為0 993 FPS frames per second 每秒幀率 為33 99 幀 s 模型權(quán)重大小為2 37 MB 在組培苗夾取試驗(yàn)中 4組共112顆苗的 夾取點(diǎn)提取成功率為85 71 為驗(yàn)證該研究的適應(yīng)性 將其應(yīng)用于各階段組培苗以及部分虛擬兩葉苗共11株種苗的夾 取點(diǎn)提取 成功率為81 82 使用該方法對(duì)不同時(shí)期的蝴蝶蘭組培苗進(jìn)行夾取點(diǎn)檢測(cè) 具有較高的成功率 研究結(jié)果 可為發(fā)展組培苗自動(dòng)化快速繁育技術(shù)提供參考 關(guān)鍵詞 圖像識(shí)別 自動(dòng)化 顯著性特征 改進(jìn)的U2 Net 蝴蝶蘭組培苗 夾取點(diǎn)檢測(cè) doi 10 11975 j issn 1002 6819 202304132 中圖分類號(hào) S24 文獻(xiàn)標(biāo)志碼 A 文章編號(hào) 1002 6819 2023 13 0151 09 苑朝 張?chǎng)?王家豪 等 基于顯著性特征的蝴蝶蘭組培苗夾取點(diǎn)檢測(cè)方法 J 農(nóng)業(yè)工程學(xué)報(bào) 2023 39 13 151 159 doi 10 11975 j issn 1002 6819 202304132 http www tcsae org YUAN Chao ZHANG Xin WANG Jiahao et al Pinch point extraction method for phalaenopsis tissue cultured seedlings based on salient features J Transactions of the Chinese Society of Agricultural Engineering Transactions of the CSAE 2023 39 13 151 159 in Chinese with English abstract doi 10 11975 j issn 1002 6819 202304132 http www tcsae org 0 引 言 蝴蝶蘭為蘭科蝴蝶蘭屬植物 其花型奇特 姿態(tài)優(yōu) 雅 素有 蘭花皇后 之美譽(yù) 市場(chǎng)需求量越來越大 蝴蝶蘭的傳統(tǒng)繁殖方式為分株繁殖 但繁殖系數(shù)低 速 度慢 1 2 不能滿足日益增長的市場(chǎng)需求 組織培養(yǎng)作為 植物無性繁殖的一種有效方法 其能夠有效提高植物個(gè) 體成活率并減少病毒傳播范圍 提高產(chǎn)量 因此 組培 苗快速繁育技術(shù)開始廣泛應(yīng)用于蝴蝶蘭培育 3 蝴蝶蘭組培苗的擴(kuò)繁流程較為復(fù)雜 主要分為4個(gè) 階段 3次移植 第1次移植是將第1個(gè)階段母瓶中的 蝴蝶蘭幼苗從基部將芽團(tuán)分開并切掉大主芽的頂端及葉 片 移植到新的母瓶中進(jìn)行第2個(gè)階段培養(yǎng) 第2次移 植是將第2個(gè)階段母瓶中的多個(gè)芽團(tuán)分開成單芽 并將 合格單芽移植入中母瓶中進(jìn)行第3階段培養(yǎng) 第3次移 植是將中母瓶中的幼苗大于1 cm的根全部切除 并切掉 多余老葉片 留下新葉片 將切割好的蝴蝶蘭幼苗移植 進(jìn)入子母瓶中 最后進(jìn)行第4個(gè)階段室外培養(yǎng) 每次移 植都需要將組培苗從培養(yǎng)瓶中取出 并進(jìn)行剪切處理后 再種入新的培養(yǎng)瓶 然而 目前大部分的組培苗快速繁育工作主要由人 工完成 存在工作強(qiáng)度大 重復(fù)性高 效率低下等問題 4 6 在中國城鎮(zhèn)化加快 農(nóng)業(yè)領(lǐng)域從業(yè)人員大大減少 人工 成本急劇上升的背景下 亟需發(fā)展組培苗自動(dòng)化快速繁 育技術(shù) 以解決人工不足 效率低下 生產(chǎn)成本高等問 題 促進(jìn)農(nóng)業(yè)發(fā)展 蝴蝶蘭種苗組織培養(yǎng)過程中自動(dòng)化移植操作關(guān)鍵在 于能夠準(zhǔn)確快速的定位 以便機(jī)器人進(jìn)行自動(dòng)移植 蝴 蝶蘭組織快速繁育過程的每個(gè)階段組培苗具有不同圖 像特征 7 因此給組培苗夾取點(diǎn)定位帶來了困難 由于 深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的特征提取與學(xué)習(xí)能力 常 用于農(nóng)作物目標(biāo)檢測(cè) 如YOLO系列 Mask R CNN等 算法被應(yīng)用于紅花絲 8 蘋果 9 12 香蕉 13 芒果 14 荔枝 15 番茄 16 18 的檢測(cè) XIAO等 19 使用輕量級(jí) MobileNets網(wǎng)絡(luò)對(duì)蝴蝶蘭組培苗的各階段圖像進(jìn)行了分 類 成功率達(dá)98 1 李威等 20 采用YOLOv4識(shí)別網(wǎng)絡(luò) 對(duì)中耕期幼苗進(jìn)行了識(shí)別和定位 馬翠花等 21 通過基于 顯著性檢測(cè)與改進(jìn)Hough變換對(duì)番茄進(jìn)行了檢測(cè) 具有 較好的普適性 然而 將顯著性檢測(cè)算法應(yīng)用到組培苗 夾取中的相關(guān)研究較少 針對(duì)快速繁育過程各階段蝴蝶蘭種苗形態(tài)不同導(dǎo)致 的夾取點(diǎn)識(shí)別困難問題 本文旨在分析夾取蝴蝶蘭組培 苗時(shí)需要滿足的要求 并提出一種基于顯著性檢測(cè)的方 法以定位夾取點(diǎn) 完成蝴蝶蘭種苗移植 該方法首先通 過顯著性檢測(cè)網(wǎng)絡(luò)得到蝴蝶蘭組培苗的顯著性圖像 然 后對(duì)圖像進(jìn)行形態(tài)學(xué)分析 自動(dòng)計(jì)算出各階段組培苗的 夾取點(diǎn) 最后使用機(jī)器人完成種苗培育各階段移植任務(wù) 收稿日期 2023 04 17 修訂日期 2023 06 13 基金項(xiàng)目 國家自然科學(xué)基金聯(lián)合基金項(xiàng)目重點(diǎn)支持項(xiàng)目 U21A20486 中央高?；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)資金資助 2022MS100 作者簡介 苑朝 博士 講師 研究方向?yàn)闄C(jī)械臂控制 機(jī)器視覺 機(jī)器 人結(jié)構(gòu)設(shè)計(jì)及優(yōu)化 Email chaoyuan 通信作者 徐大偉 博士 講師 研究方向?yàn)闄C(jī)械臂控制及路徑規(guī)劃 Email xudawei 第 39 卷 第 13 期 農(nóng) 業(yè) 工 程 學(xué) 報(bào) Vol 39 No 13 2023 年 7 月 Transactions of the Chinese Society of Agricultural Engineering July 2023 151 在組培苗圖像顯著性檢測(cè)過程中 該方法僅需對(duì)圖像中 組培苗與背景做二分類 因此模型對(duì)語義信息不敏感 不需要種類豐富的樣本進(jìn)行訓(xùn)練 從而能夠更快速高效 完成組培苗的檢測(cè) 有效完成蝴蝶蘭組織培養(yǎng)中各個(gè)階 段的組培苗移植任務(wù) 1 種苗移植方法 1 1 整體流程 組培苗移植系統(tǒng)由視覺檢測(cè)模塊 夾取點(diǎn)定位模塊 和機(jī)械臂控制模塊構(gòu)成 如圖1所示 該系統(tǒng)通過工業(yè) 相機(jī)拍攝組培苗圖像 并通過深度學(xué)習(xí)算法對(duì)其進(jìn)行處 理 得到組培苗與背景分割的顯著性圖像 然后 通過 圖像處理獲取組培苗的待夾取點(diǎn)像素坐標(biāo) 通過手眼標(biāo) 定算法將像素坐標(biāo)轉(zhuǎn)化為機(jī)械臂基坐標(biāo)系下的世界坐標(biāo) 后再將其傳輸給機(jī)械臂 機(jī)械臂控制末端夾取裝置完成 組培苗移植 工業(yè)相機(jī)拍攝顯著性檢測(cè) 圖像處理夾取點(diǎn)定位 視覺檢測(cè)模塊 夾取點(diǎn)定位模塊 機(jī)械臂移植 機(jī)械臂控制模塊 圖1 蝴蝶蘭組培苗移植整體流程 Fig 1 Overall flow of phalaenopsis tissue cultured seedlings transplantation 1 2 視覺檢測(cè)算法 由于本文的目標(biāo)是針對(duì)蝴蝶蘭組培苗進(jìn)行夾取移植工 作 在培育過程中 蝴蝶蘭組培苗與背景區(qū)別明顯 因此 通過將蝴蝶蘭組培苗與背景圖像分離完成二分類顯著性 檢測(cè) 再處理顯著性檢測(cè)的結(jié)果以獲得最終的夾取目標(biāo) 點(diǎn) U2 Net 22 是一種高效的應(yīng)用于圖像顯著性檢測(cè)的深 度網(wǎng)絡(luò) 由于該網(wǎng)絡(luò)參數(shù)量較大 所以本文在U2 Net 的編碼解碼階段均加入了MBConv模塊對(duì)U2 Net進(jìn)行改 進(jìn) 降低了模型的權(quán)重大小 提高了檢測(cè)速度 本文在處 理U2 Net的基模塊RSU模塊時(shí) 加入了深度可分離卷積 depth wise separable convolutions 以進(jìn)一步減少模 型的參數(shù)量 增強(qiáng)了模型的可移植性 使其易于部署 1 2 1 MBConv模塊 MBConv mobile inverted bottleneck convolution 23 是一種包含深度可分離卷積的倒置線性瓶頸層 其中加 入了SENet注意力機(jī)制模塊 24 能夠加強(qiáng)圖像不同通道 中的前景信息 并壓縮背景信息 MBConv模塊的結(jié)構(gòu) 如圖2所示 從左至右 MBConv模塊包含以下部分 第1部分是一個(gè)1 1普通卷積模塊 起到將特征圖升維 的作用 卷積核個(gè)數(shù)是輸入特征圖通道數(shù)的n n 1 6 倍 n 1時(shí) 該卷積不參與運(yùn)算 第2部分是一個(gè) k k的深度可分離卷積模塊 k通常取3或5 第3部分 是一個(gè)SE注意力模塊 SE由一個(gè)全局平均池化 壓 縮 兩個(gè)全連接層 激勵(lì) 構(gòu)成 全局平均池化將 H W C 高 寬 通道數(shù) 的特征圖壓縮至1 1 C 第1 個(gè)全連接層的節(jié)點(diǎn)個(gè)數(shù)為MBConv模塊的輸入特征圖的 通道數(shù)的1 4 且使用Swish激活函數(shù) Swish激活函數(shù) 是一個(gè)平滑的 非單調(diào)的函數(shù) 常被用于深度網(wǎng)絡(luò) 能 夠使網(wǎng)絡(luò)稀疏化 減少參數(shù)間的耦合關(guān)系 能夠一定程 度緩解過擬合問題 第2個(gè)全連接層的節(jié)點(diǎn)個(gè)數(shù)等于逐 通道卷積的輸出特征圖的通道數(shù) 且使用Sigmoid激活 函數(shù) 得到輸入特征圖的各個(gè)通道的權(quán)重系數(shù) 后一個(gè) 1 1卷積將壓縮后的特征圖進(jìn)行升維操作 并通過殘差 結(jié)構(gòu)與輸入特征圖進(jìn)行融合 第3部分是一個(gè)1 1普通 卷積模塊 起到將特征圖降維的作用 最后一個(gè)部分是 Dropout層 起到減小模型參數(shù)量的作用 H W C H W CH W C H W C CBNSW CBNSW DSCBNSW DSCBNSW SE CBN CBN Dropout SE 壓縮激勵(lì)模塊 l 1 Cl 1 C 壓縮激勵(lì) Squeeze Excitation Conv Scale 乘 Conv BN Swish DSConv BN Swish Conv BN Addition 加 注 H W C表示高度為H 寬度為W 通道數(shù)為C的特征圖 Conv表示卷積 BN為批量歸一化層 DSConv表示深度可分離卷積 Note H W C represents a feature map with a height of H width of W and C channels Conv denotes convolution BN represents batch normalization layer DSConv represents depth wise separable convolution 圖2 MBConv模塊結(jié)構(gòu)圖 Fig 2 MBConv module structure diagram 1 2 2 改進(jìn)型U2 Net算法 大多數(shù)顯著性檢測(cè)算法使用了圖像分類網(wǎng)絡(luò)的骨干 網(wǎng)絡(luò) 這些帶有骨干網(wǎng)絡(luò)的算法的準(zhǔn)確率很高 但往往 過于復(fù)雜 因?yàn)槠浒芏鄰?fù)雜的額外特征模塊 此外 152 農(nóng)業(yè)工程學(xué)報(bào) http www tcsae org 2023 年 這些骨干網(wǎng)絡(luò)最初是為圖像分類任務(wù)而設(shè)計(jì) 主要用于 提取圖像中的語義信息 然而顯著性檢測(cè)任務(wù)的重點(diǎn)是 提取圖像的局部信息和全局對(duì)比信息 U2 Net采用了一 種兩級(jí)嵌套的U形結(jié)構(gòu) 25 不需要使用任何預(yù)訓(xùn)練的骨 干網(wǎng)絡(luò) 該結(jié)構(gòu)中的基本模塊RSU模塊能夠在不降低圖 像分辨率的情況下提取圖像的多尺度特征 并獲得良好 的效果 但是 使用大量的U形塊以及殘差的堆疊會(huì)增 大計(jì)算量 并導(dǎo)致模型參數(shù)量增加 為實(shí)現(xiàn)組培苗夾取 點(diǎn)提取的高效準(zhǔn)確 需要對(duì)模型進(jìn)行輕量化 本文提出 了一種MBU2 Net 網(wǎng)絡(luò)結(jié)構(gòu) 將深度可分離卷積應(yīng)用到 每一個(gè)RSU模塊中 該模塊稱為DSCRSU n 為了增加 模型的感受野 在DSCRSU n模塊中使用擴(kuò)張卷積 dilated convolution 該模塊稱為DSCRSU nF DSCRSU 結(jié)構(gòu)減少了計(jì)算量和參數(shù)量 使網(wǎng)絡(luò)更加輕量化 更容 易部署 結(jié)構(gòu)如圖3所示 為了增加網(wǎng)絡(luò)在處理各種尺 度和復(fù)雜度特征時(shí)的表達(dá)能力 提高泛化性 在U2 Net 的輸入輸出階段加入了MBConv模塊 MBU2 Net 網(wǎng)絡(luò) 結(jié)構(gòu)由多個(gè)DSCRSU n或DSCRSU nF模塊組成 如圖4 所示 在本文中 en4 de4層的擴(kuò)張卷積參數(shù)為2 en5 de5的擴(kuò)張參數(shù)為4 en6的擴(kuò)張參數(shù)為8 Concat 堆疊 Conv BN ReLuDSConv BN ReLu Addition 加 US US US DSDSDS DS Downsample 下采樣 US Upsample 上采樣 UCn UCn 1 UC1 DC1 DCn 1 DCn OR DLConv BN ReLu H W C H W C 注 Concat為通道數(shù)相加的特征融合方式 DCn UCn分別表示第n個(gè)下采樣卷積層 第n個(gè)上采樣卷積層 ReLu為激活函數(shù) DLConv為擴(kuò)張卷積 當(dāng) 實(shí)線框內(nèi)取DSConv BN ReLu時(shí)為DSCRSU n模塊 當(dāng)實(shí)線框內(nèi)取DLConv BN ReLu時(shí)為DSCRSU nF模塊 Note Concat denotes the feature fusion method where channels are concatenated DCn and UCn represent the nth downsampling convolutional layer and upsampling convolutional layer ReLU is a activation function DLConv Represents Dilated Convolution When DSConv BN ReLu is selected within the solid line box the module corresponds to DSCRSU n When DLConv BN ReLu is selected within the solid line box the module corresponds to DSCRSU nF 圖3 DSCRSU n與DSCRSU nF模塊結(jié)構(gòu)圖 Fig 3 DSCRSU n and DSCRSU nF module structure diagram 1 3 夾點(diǎn)定位算法 為了移植蝴蝶蘭組織培養(yǎng)苗 需要對(duì)進(jìn)入視覺傳感 器視野的蝴蝶蘭組培苗進(jìn)行準(zhǔn)確的待夾取點(diǎn)計(jì)算 常用 的目標(biāo)檢測(cè)算法計(jì)算待夾取點(diǎn)的坐標(biāo)是使用目標(biāo)檢測(cè)框 的中點(diǎn)作為待夾取點(diǎn) 26 或者對(duì)目標(biāo)的各個(gè)部分進(jìn)行檢 測(cè) 如根 莖 葉 再對(duì)檢測(cè)圖像進(jìn)行處理得到夾取點(diǎn) 坐標(biāo) 然而 在蝴蝶蘭組織培養(yǎng)過程中母瓶到子母瓶的 移植階段 理想夾取點(diǎn)范圍如圖5所示 使用上述算法 得到的夾取點(diǎn)坐標(biāo)易不滿足所在區(qū)域要求 并且上述算 法在數(shù)據(jù)集種類不夠 僅中母瓶到子母瓶移植階段 時(shí) 夾取點(diǎn)提取的準(zhǔn)確度較低 導(dǎo)致種夾取過程對(duì)組培苗造 成損傷或因?yàn)閵A取點(diǎn)提取錯(cuò)誤導(dǎo)致移植失敗 由于實(shí)際 組培苗培育過程中 蝴蝶蘭組培苗各階段的背景信息簡 單且相對(duì)單一 所以可以通過顯著檢測(cè)網(wǎng)絡(luò)將組培苗和 背景分割 再對(duì)蝴蝶蘭組培苗的顯著性圖進(jìn)行分析得到 夾取點(diǎn) 本文對(duì)顯著性檢測(cè)的二值化圖進(jìn)行處理 并得 到組培苗圖像處理過后的骨架圖 通過對(duì)組培苗的結(jié)構(gòu) 進(jìn)行分析 發(fā)現(xiàn)各階段組培苗的夾取點(diǎn)常位于根莖的交 叉處 而在骨架圖上 該處是兩個(gè)交叉點(diǎn)位置的中心 本文利用多種圖像處理算法提取根莖的交叉位置中心作 為待夾取點(diǎn) 使機(jī)械臂能夠在不傷害蝴蝶蘭組培苗的情 況下 成功完成對(duì)各個(gè)階段蝴蝶蘭組培苗的移植 對(duì)蝴蝶蘭組培苗結(jié)構(gòu)進(jìn)行分析得知 在根莖葉的連 接處 所檢測(cè)到的骨架圖交叉點(diǎn)最多 而夾取點(diǎn)常位于 根莖 莖葉連接點(diǎn)之間的莖處 通過這種分析 可確定 骨架線交點(diǎn)的集合C x y 中的點(diǎn)為備選夾取點(diǎn) 為解決 集合C中的點(diǎn)分布過于分散的問題 使用K近鄰 K nearest neighbor KNN 算法對(duì)集合 的每個(gè)點(diǎn)p xi yi 進(jìn) 行聚類 當(dāng)以p xi yi 為圓心 m個(gè)像素為半徑的圓內(nèi)的 備選點(diǎn)個(gè)數(shù)小于j時(shí) 則將該點(diǎn)從備選點(diǎn)集合C x y 中 刪除 遍歷結(jié)束后 通過隨機(jī)抽樣一致 random sample consensus RANSAC 算法剔除掉噪聲點(diǎn)并擬合夾具中 心線投影 然后求取所有備選點(diǎn)的中點(diǎn) 即為待夾取點(diǎn) Co xo yo 并得到擬合中心線投影直線的斜率k 對(duì)斜率 第 13 期 苑 朝等 基于顯著性特征的蝴蝶蘭組培苗夾取點(diǎn)檢測(cè)方法 153 求反三角函數(shù)得到鑷子中心線投影與水平方向夾角 DSCRSU 7 DSCRSU 7 Conv sigmoid upsample 卷積 激活 上采樣 Downsample 下采樣 Upsample 2 上采樣 2堆疊 Concat MBConv MBConv en1 en2 en3 en4 en5 en6 de1 de2 de3 de4 de5 640 640 1 640 640 3 DSCRSU 6 DSCRSU 6 DSCRSU 5 DSCRSU 5 DSCRSU 4 DSCRSU 4 DSCRSU 4F DSCRSU 4F DSCRSU 4F 注 輸入圖像尺寸為640 640 3 輸出圖像尺寸為640 640 1 en1 en6 為編碼層 de1 de6為解碼層 編碼層解碼層均為基本單元DSCRSU n 或DSCRSU nF模塊 Concat為通道數(shù)相加的特征融合方式 Note The input image has dimensions of 640 640 3 while the output image has dimensions of 640 640 1 en1 to en6 represent the encoding layers and de1 to de6 represent the decoding layers Both the encoding and decoding layers consist of basic units either DSCRSU n or DSCRSU nF module Concat denotes the feature fusion method where channels are concatenated 圖4 MBU2 Net 網(wǎng)絡(luò)結(jié)構(gòu)圖 Fig 4 MBU2 Net network structure diagram 夾取點(diǎn)提取的流程如下 相機(jī)拍攝組培苗圖像 首 先對(duì)移植條件進(jìn)行判斷 在滿足移植條件的情況下 將 拍攝的組培苗圖像送入顯著性檢測(cè)網(wǎng)絡(luò) 得到顯著性圖 像 若不滿足移植條件 則持續(xù)拍攝圖像直至滿足條件 然后對(duì)顯著性圖像進(jìn)行一系列濾波 降噪 圖像增強(qiáng) 再使用ZHANG SUEN 27 圖像細(xì)化算法 得到組培苗的 骨架圖 對(duì)骨架圖進(jìn)行預(yù)處理后 再進(jìn)行交點(diǎn)檢測(cè) 得 到骨架圖中所有骨架線交點(diǎn)的集合C 對(duì)該集合使用KNN 算法進(jìn)行遍歷 將位于圖像邊緣的交點(diǎn)剔除 然后更新 集合C 再對(duì)C通過RANSAC數(shù)據(jù)篩選并擬合夾具中 心線投影 得到擬合中心線投影并計(jì)算更新后的集合C 的中點(diǎn) xo yo 即待夾取點(diǎn) 以及直線斜率k 整體流程 如圖6所示 夾取點(diǎn)所在區(qū)域 Grasping point area 注 為夾具中心線投影與水平方向的夾角 Note is defined as the angle between the projected central line of the gripper and the horizontal direction 圖5 夾取點(diǎn)區(qū)域及夾取角度 Fig 5 Grasping point area and grab angle 交點(diǎn)提取與原圖顯示 顯著性檢測(cè) 組培苗圖像顯著性圖像骨架圖原圖中夾取點(diǎn)顯示夾點(diǎn)檢測(cè)結(jié)果圖 骨架提取 MBU2 Net Zhang suen Ransac 直線擬合 圖6 夾取點(diǎn)定位流程 Fig 6 Grasping point localization process 2 試驗(yàn)系統(tǒng)搭建 2 1 試驗(yàn)平臺(tái)搭建 arm imgT 本文采用海康MV CE060 10UC彩色工業(yè)相機(jī)采集 蝴蝶蘭組培苗的圖像 相機(jī)與機(jī)械臂以眼在手外的方式 進(jìn)行操作 本文使用ZHANG S標(biāo)定法 28 標(biāo)定相機(jī)參數(shù) 并通過眼在手外的手眼標(biāo)定獲得圖像坐標(biāo)系到機(jī)械臂基 坐標(biāo)系的轉(zhuǎn)換矩陣 利用式 1 將相機(jī)坐標(biāo)系下的 像素點(diǎn)轉(zhuǎn)化為機(jī)械臂基坐標(biāo)下的空間坐標(biāo) 26 6666 664 X Y Z 37 7777 775 armimgT 26 6666 6664 Px Py 1 37 7777 7775 1 式中X Y Z為機(jī)械臂基坐標(biāo)系下的x y z坐標(biāo) mm Px Py為相機(jī)坐標(biāo)系下目標(biāo)的像素坐標(biāo) 本文試驗(yàn)采用的機(jī)械臂為JAKA Zu3六自由度協(xié)作 機(jī)械臂 最大負(fù)載為3 kg 重復(fù)定位精度低于 0 03 mm 最大工作半徑為639 mm 由于蝴蝶蘭組培苗的結(jié)構(gòu)特別 且脆弱 需要將其移植進(jìn)入培養(yǎng)皿中 當(dāng)前常見的機(jī)械 臂末端執(zhí)行機(jī)構(gòu)并不能完成當(dāng)前任務(wù) 對(duì)此 本文設(shè)計(jì) 了一種蝴蝶蘭組培苗的移植末端 末端夾具與試驗(yàn)平臺(tái) 如圖7所示 夾具使用的鑷子長為30 cm 材質(zhì)為不銹 鋼 由電磁推桿控制開合 電磁推桿的推力為20 N 除 電磁推桿和鑷子外 本末端均為3D打印制作 材料為 ABS 末端連接件連接機(jī)械臂和工具 所有工具均布置 154 農(nóng)業(yè)工程學(xué)報(bào) http www tcsae org 2023 年 在底盤上滑塊能夠調(diào)整鑷子的位置 電磁推桿能夠控制 鑷子開合 當(dāng)檢測(cè)到蝴蝶蘭組培苗的夾取點(diǎn)時(shí) 控制機(jī) 械臂使組培苗夾取點(diǎn)位于鑷子中心 驅(qū)動(dòng)電磁推桿使鑷 子閉合以完成夾取 b 實(shí)物圖 b Terminal phtsical figure a 仿真設(shè)計(jì)圖 a Simulation design figure 1 2 3 4 5 6 c 試驗(yàn)平臺(tái) c Experimental platform 7 8 9 10 1 機(jī)械臂 2 底盤 3 滑塊 4 電磁推桿 5 末端連接件 6 鑷子 7 工業(yè)相機(jī) 8 環(huán)形光源 9 模擬蝴蝶蘭組培苗 10 模擬培養(yǎng)基 1 Robotic arm 2 Base plate 3 Slider 4 Electromagnetic actuator 5 End effector 6 Tweezers 7 Industrial camera 8 Ring light 9 Simulated phalaenopsis seedlings 10 Simulated culture medium 圖7 末端夾具與試驗(yàn)平臺(tái) Fig 7 End tool and experimental platform 2 2 數(shù)據(jù)采集與模型訓(xùn)練 數(shù)據(jù)集采用的是蝴蝶蘭組培苗培育階段中 從中母 瓶到子母瓶切割組培苗前的圖像 圖像分辨率為3 072 2 048像素 如圖8所示 由于蝴蝶蘭花卉昂貴 且在培 育過程中極易發(fā)生病變 影響其生長 因此數(shù)據(jù)集僅限 于單一階段的蝴蝶蘭組培苗 導(dǎo)致數(shù)據(jù)集較小 通過圖 像增強(qiáng) 最終得到包含986張圖像的數(shù)據(jù)集 本文采用 9 1的訓(xùn)練集驗(yàn)證集比例對(duì)總體數(shù)據(jù)集進(jìn)行隨機(jī)抽樣 數(shù) 據(jù)集中的圖像均包含清晰前景 即蝴蝶蘭組培苗 且背 景相對(duì)簡單 本文使用Labelimg工具對(duì)蝴蝶蘭組培苗與 背景進(jìn)行分割 并將圖片手動(dòng)分成Mask和Images兩部 分 在視覺模型訓(xùn)練方面 本文使用Ubuntu18 04操作 系 統(tǒng) 64GB內(nèi) 存 Nvidia GeForceRTX3090顯 卡 pytorch1 9 1 CUDA11 1環(huán)境 模型測(cè)試與機(jī)械臂夾取 試驗(yàn)在Windows操作系統(tǒng)下進(jìn)行 在訓(xùn)練過程中 每個(gè) 圖像先被垂直翻轉(zhuǎn)并裁剪為640 640像素 使用Adam 優(yōu)化器來訓(xùn)練網(wǎng)絡(luò) 初始學(xué)習(xí)率為0 01 所有模型均訓(xùn) 練了360個(gè)輪次 a 組培苗1 b 組培苗2 a Tissue cultured seedling 1 b Tissue cultured seedling 2 圖8 部分蝴蝶蘭組培苗數(shù)據(jù)集 Fig 8 Partial phalaenopsis seedling data set 2 3 算法驗(yàn)證 為了驗(yàn)證本算法的實(shí)際效果 選取4組共112顆蝴 蝶蘭組培苗進(jìn)行夾取點(diǎn)提取試驗(yàn) 滿足夾取點(diǎn)識(shí)別范圍 在主莖范圍內(nèi)條件 則可認(rèn)為夾取點(diǎn)提取成功 采用室 內(nèi)試驗(yàn)的方式 相機(jī)采用眼在手外的安裝方式 手動(dòng)將 蝴蝶蘭組培苗放入相機(jī)視野內(nèi) 每次間隔5 s 共計(jì)放 入112顆蝴蝶蘭組培苗 將相機(jī)所拍攝的原始圖像傳入MBU2 Net 模型中 對(duì)待移植的蝴蝶蘭組培苗進(jìn)行夾取試驗(yàn) 計(jì)算夾取點(diǎn)提 取成功率 成功率S的計(jì)算式為 S CsC a 100 2 式中Cs為成功提取夾點(diǎn)組培苗數(shù) Ca為總蝴蝶蘭組培 苗數(shù) 3 結(jié)果與分析 3 1 模型訓(xùn)練結(jié)果 模型的性能指標(biāo)由平均絕對(duì)誤差 mean absolute error 和F 來體現(xiàn) 平均絕對(duì)誤差是一種線性分?jǐn)?shù) 它 表示預(yù)測(cè)值和觀測(cè)值之間的絕對(duì)誤差的平均值 F 基于 查準(zhǔn)率 precision 查全率 recall 的加權(quán)調(diào)和平均 定義 能夠表達(dá)出對(duì)查準(zhǔn)率和查全率的不同側(cè)重 用來 綜合評(píng)價(jià)查準(zhǔn)率 查重率 平均絕對(duì)誤差 F 的計(jì)算式 如下 M 1HW H r 1 W c 1 jP r c G r c j 3 式中r c分別為特征圖的行數(shù) 列數(shù) P為預(yù)測(cè)概率圖 G為圖像標(biāo)簽 F 1 2 PrR 2Pr R 4 式中Pr為查準(zhǔn)率 R為查全率 為常系數(shù) 當(dāng) 1時(shí) 為F1 1時(shí)查全率有更大影響 0 1時(shí)查準(zhǔn)率有更 大影響 每秒幀數(shù) frames per second FPS 是測(cè)量用于保 存 顯示動(dòng)態(tài)視頻的信息數(shù)量 每秒鐘幀數(shù)越高 所顯 示的動(dòng)作就會(huì)越流暢 通常 為了保證畫面動(dòng)作流暢 需要達(dá)到30 幀 s 由于蝴蝶蘭組培苗需要實(shí)時(shí)移植 因 此該指標(biāo)非常關(guān)鍵 本文對(duì)U2 Net U2 Net Res2Net PoolNet模型與本 文提出的改進(jìn) MBU2 Net MBU2 Net 模型分別進(jìn)行了 第 13 期 苑 朝等 基于顯著性特征的蝴蝶蘭組培苗夾取點(diǎn)檢測(cè)方法 155 360個(gè)輪次的訓(xùn)練 輸入圖像的分辨率為3 072 2 048像 素 batch size為4 訓(xùn)練結(jié)果對(duì)比如表1所示 表 1 不同模型性能對(duì)比 Table 1 Performance comparison of different models 模型 Model 平均絕 對(duì)誤差 Mean absolute error F1 最大 分?jǐn)?shù) Maximum F1 score 權(quán)重大小 Weight size MB 訓(xùn)練時(shí)間 Training time min 幀率 Frames per second 幀 s 1 Res2Net PoolNet 0 004 0 982 269 10 947 3 79 U 2 Net 0 003 0 988 504 31 803 20 26 U 2 Net 0 002 0 987 13 51 489 28 78 MBU 2 Net 0 002 0 993 123 87 729 21 08 MBU 2 Net 0 002 0 993 2 37 607 33 99 因?yàn)樵趯?shí)際的工業(yè)培育過程中 蝴蝶蘭組培苗和背 景有較為明顯的區(qū)分度 所以蝴蝶蘭數(shù)據(jù)集背景簡單 在這種情況下 顯著性檢測(cè)任務(wù)并不困難 各類算法的 性能指標(biāo)較為接近 通過對(duì)比表1中的5種網(wǎng)絡(luò) 其中 使用骨干網(wǎng)絡(luò)的Res2Net PoolNet的平均絕對(duì)誤差為 0 004 U2 Net MBU2 Net MBU2 Net 的平均絕對(duì)誤差 均在0 002左右 平均絕對(duì)誤差最大差值為0 02 這是 因?yàn)橛?xùn)練所使用的數(shù)據(jù)集較小并且背景并不復(fù)雜 各種 網(wǎng)絡(luò)的平均絕對(duì)誤差指標(biāo)差距不明顯 但是在加入改進(jìn) 模塊后 MBU2 Net MBU2 Net 的最大F1分?jǐn)?shù)較U2 Net U2 Net 模型有一定提升 均提高到0 993 經(jīng)過改進(jìn)的 MBU2 Net MBU2 Net 雖然訓(xùn)練時(shí)間不是最低的 但是 權(quán)重大小相比于U2 Net U2 Net 有較大提升 其中MBU2 Net 權(quán)重大小僅為2 37 MB 更便于實(shí)際工業(yè)過程中的模 型部署 此外 MBU2 Net 的幀率對(duì)比U2 Net 提升了5 幀 大于30幀 滿足蝴蝶蘭組培苗移植過程的實(shí)時(shí)性要 求 綜上所述 本文提出的MBU2 Net 在保證精度的同 時(shí)推理速度更快 適用于蝴蝶蘭組培苗夾取點(diǎn)的檢測(cè) 3 2 蝴蝶蘭組培苗夾點(diǎn)提取試驗(yàn)結(jié)果 通過對(duì)112顆蝴蝶蘭組培苗進(jìn)行4組組培苗夾取點(diǎn) 提取試驗(yàn) 結(jié)果見表2 圖9 平均夾取點(diǎn)檢測(cè)成功率達(dá) 到85 71 導(dǎo)致夾取點(diǎn)提取失敗的原因是部分組培苗的 老根老葉較多 骨架圖得到的交點(diǎn)在根或葉處更密集 而第2組組培苗夾取點(diǎn)提取的成功率低于平均水平是由 于第二組有部分組培苗圖像過曝 導(dǎo)致算法并未完整提 取到顯著性圖像 從而導(dǎo)致夾取點(diǎn)計(jì)算錯(cuò)誤 表 2 組培苗夾點(diǎn)提取試驗(yàn)結(jié)果 Table 2 Results of tissue cultured seedlings pinch test extracted 組別 Group 組培苗數(shù) Number of tissue cultured seedlings 成功提取夾點(diǎn)數(shù) Number of successfully extracted pinch 成功率 Success rate 1 29 25 86 21 2 25 19 76 00 3 30 26 86 67 4 28 26 92 86 3 3 夾點(diǎn)提取算法的適應(yīng)性驗(yàn)證結(jié)果 為證明本文提出方法的普適性 本試驗(yàn)選取了蝴蝶 蘭組織培養(yǎng)過程中不同時(shí)期的組培苗 選擇母瓶到中母 瓶時(shí)期蝴蝶蘭組培苗6株 中母瓶到子母階段2株 制 作了虛擬樣本2株模擬其他類型組培苗進(jìn)行了試驗(yàn) 試 驗(yàn)結(jié)果如表3 圖10所示 a 夾取點(diǎn)區(qū)域b 顯著性圖像c 骨架圖d 夾點(diǎn)提取結(jié)果 a Regionof expected pinch point b Salient image c Thinning image d Pinch point extraction results 組培苗 1 Tissue cultured seedling l 組培苗 2 Tissue cultured seedling 2 組培苗 3 Tissue cultured seedling 3 圖9 部分試驗(yàn)結(jié)果 Fig 9 Partial experimental results 156 農(nóng)業(yè)工程學(xué)報(bào) http www tcsae org 2023 年 表 3 夾取點(diǎn)提取適應(yīng)性試驗(yàn)結(jié)果 Table 3 Result of pinch point extraction universality test 組培苗時(shí)期 Stage of seedings 組培苗數(shù) Number of seedings 識(shí)別成功個(gè)數(shù) Number of recognition successes 成功率 Success rate 母瓶 中母瓶 Mother bottle sub mother bottle 6 6 100 00 中母瓶 子母瓶 Sub mother bottle parent offspring bottle 3 2 66 67 虛擬樣本 Virtual samples 2 1 50 00 總 計(jì) Sum 11 9 81 82 a 夾取點(diǎn)區(qū)域b 顯著性圖像c 骨架圖d 夾點(diǎn)提取結(jié)果 a Region of pinch point b Salient image c Thinning image d Pinch point extraction results 虛擬樣本 Virtual samples 中母瓶 子母瓶 Sub mother bottle parent of fspring bottle 母瓶 中母瓶 Mother bottle sub mother bottle 圖10 適應(yīng)性驗(yàn)證試驗(yàn) Fig 10 Test results of adaptability validation test 從表3夾取點(diǎn)提取適應(yīng)性試驗(yàn)結(jié)果可知 母瓶 中母 瓶時(shí)期以及中母瓶 子母瓶的蝴蝶蘭組培苗的夾取點(diǎn)提取 成功率總體為81 82 可以證明本文提出的算法在僅有 中母瓶 子母瓶時(shí)期的未經(jīng)過切除老葉的蝴蝶蘭組培苗數(shù) 據(jù)集的情況下 能夠適用于蝴蝶蘭組織培養(yǎng)全過程的蝴 蝶蘭組織培養(yǎng)苗的夾取點(diǎn)提取 從表3的虛擬樣本的夾 取點(diǎn)識(shí)別成功率還可以看出本文提出的算法對(duì)于類似蝴 蝶蘭結(jié)構(gòu)的組織培養(yǎng)苗的夾取點(diǎn)提取有一定的泛化性 4 結(jié) 論 1 本文針對(duì)蝴蝶蘭組培苗培育過程中 部分圖像識(shí) 別算法對(duì)各階段不同特征的組培苗識(shí)別適應(yīng)性差的問題 提出了一種基于顯著性特征的蝴蝶蘭組培苗夾取點(diǎn)提取 方法 通過組培苗夾點(diǎn)提取試驗(yàn)結(jié)果分析 使用本文構(gòu) 建的MBU2 Net 網(wǎng)絡(luò)模型能夠高效的提取組培苗夾取點(diǎn) 4組共112顆組培苗的平均提取成功率為85 71 2 對(duì)本文構(gòu)建的MBU2 Net 網(wǎng)絡(luò)進(jìn)行夾點(diǎn)提取適應(yīng) 性試驗(yàn) 對(duì)于試驗(yàn)中所處的另外三種類型的組培苗 總 體成功率為81 82 結(jié)果表明 構(gòu)建的MBU2 Net 網(wǎng)絡(luò) 具有一定的泛化性能 3 通過引入MBConv與深度可分離卷積對(duì)U2 Net 進(jìn)行改進(jìn) 試驗(yàn)與Res2Net PoolNet U2 Net U2 Net 等 網(wǎng)絡(luò)對(duì)比 MBU2 Net 網(wǎng)絡(luò)在準(zhǔn)確率沒有損失的情況下 有效減小了的模型參數(shù)量 并提高了檢測(cè)速度 檢測(cè)速 度為33 99 幀 s 對(duì)于形態(tài)各異的組培苗 僅使用2維識(shí)別定位難免 出現(xiàn)誤差造成機(jī)械臂移植失敗 下一步研究中 擬采用 3維識(shí)別定位的方案 提升組培苗移植的成功率 參 考 文 獻(xiàn) PRAMANIK D SPAANS M KRANENBURG T et al Inflorescence lignification of natural species and horticultural hybrids of phalaenopsis orchids J Scientia Horticulturae 2022 295 110845 1 HAN Z CRISP P STELPFLUG S et al Heritable epigenomic changes to the maize methylome resulting from tissue culture J Genetics 2018 209 4 983 995 2 任桂萍 王小菁 朱根發(fā) 不同光質(zhì)的LED對(duì)蝴蝶蘭組織 培養(yǎng)增殖及生根的影響 J 植物學(xué)報(bào) 2016 51 1 81 88 REN Guiping WANG Xiaojing ZHU Genfa Effect of LED in different light qualities on growth of phalaenopsis plantlets J Chin Bull Bot 2016 51 1 81 88 in Chinese with English abstract 3 黃成龍 柯宇曦 華向東 等 邊緣計(jì)算在智慧農(nóng)業(yè)中的 應(yīng)用現(xiàn)狀與展望 J 農(nóng)業(yè)工程學(xué)報(bào) 2022 38 16 224 234 HUANG Chenglong KE Yuxi HUA Xiangdong et al Application status and prospect of edge computing in smart agriculture J Transactions of the Chinese Society of Agricultural Engineering Transactions of the CSAE 2022 38 16 224 234 in Chinese with English abstract 4 翟永杰 胡東陽 苑朝 等 基于視覺伺服的蝴蝶蘭種苗 切割系統(tǒng)設(shè)計(jì)與試驗(yàn) J 農(nóng)業(yè)工程學(xué)報(bào) 2022 38 6 148 156 ZHAI Yongjie HU Dongyang YUAN Chao et al Design and experime