采用双模态联合表征学习方法识别作物病害

分类：论文范文 发表时间：2021-11-16 10:33

　　摘要：基于深度卷积神经网络的视觉识别方法在病害诊断中表现出色，逐渐成为了研究热点。但是，基于深度卷积神经网络建立的视觉识别模型通常只利用了图像模态的数据，导致模型的识别准确率和鲁棒性，都依赖训练数据集的规模和标注的质量。构建开放环境下大规模的病害数据集并完成高质量的标注，通常需要付出巨大的经济和技术代价，限制了基于深度卷积神经网络的视觉识别方法在实际应用中的推广。该研究提出了一种基于图像与文本双模态联合表征学习的开放环境下作物病害识别模型（bimodalNet）。该模型在病害图像模态的基础上，进行了病害文本模态信息的嵌入，利用两种模态病害信息间的相关性和互补性，实现了病害特征的联合表征学习。最终bimodalNet在较小的数据集上取得了优于单纯的图像模态模型和文本模态模型的效果，最优模型组合在测试集的准确率、精确率、灵敏度、特异性和F1值分别为99.47%、98.51%、98.61%、99.68%和98.51%。该研究证明了利用病害图像和病害文本的双模态表征学习是解决开放环境下作物病害识别的有效方法。

　　关键词：模型；病害；双模态；联合表征学习；少样本；开放环境；病害识别

　　0引言

　　有害生物多发，常见农作物病害775种，分布范围广、成灾频率高、突发性强[1-2]。近年来，平均每年病害发生面积超过2.66亿公顷次，给农业生产造成了重大损失[3-4]。传统的病害诊断主要通过农学专家或者技术员根据经验进行识别和评估，存在耗时、费力且效率低的问题，难以适应病害快速防治的实时性与准确性要求。近年来，深度卷积神经网络的发展推动了大规模基准数据集如ImageNet上通用视觉识别的快速进步[5-6]。在已有的研究中，基于卷积神经网络的模型和算法已被证明可用于解决病害识别问题，因此越来越多的研究聚焦于作物病害检测和分类，并取得了一定的成功[7]。为了保障深度网络模型的识别性能，许多研究都采用了包含大量病害图像的公开数据集或者自采大量病害图像构建的数据集。Mohanty等[8]收集了包含14类作物、26种病害的PlantVillage数据集，共54306幅农作物叶部的病害图像，并利用AlexNet和GoogleNet深度网络将对象分为38个对应类别，准确率高达99.35%。文献[9]则收集了苹果、土豆等25类蔬果的87848张叶部病害图片，用以验证VGGNet模型识别性能，准确率达到99.53%。为进一步保障深度网络有效训练，Wu等[10]收集了102类农作物害虫共计75222张图像，并对19000多张照片进行框标注，用以训练ResNet分类器与YOLOv3检测网络结合模型，有效验证了深度网络在农作物虫害分类及识别的显著效益。DeChant等[11]构建了识别玉米北方叶枯病的卷积神经网络模型，该模型的识别准确率为96.7%，使用的数据集包含18222张图像，其中有105705个病斑标注。

　　1数据集

　　1.1数据来源

　　本文使用数据集均来自小汤山精准农业示范基地和北京平谷桃智能化生产示范基地，自采集数据包括：番茄白粉病、番茄早疫病、黄瓜白粉病、黄瓜病毒病、黄瓜霜霉病、桃炭疽病共6种病害叶片的图像数据共1834张，每张图像配合一句文本描述，作为图像-文本对，具体数量如表1所示。考虑到真实应用情况，在图像数据集采集过程中分早晨（7:00－8:00），中午（11:00－12:00），傍晚（17:00－18:00）3个时间段进行拍摄，采集地点为设施温室；为了避免单一文本描述风格影响实际使用效果，文本数据集由5名植保专家对照原始图像进行描述，图像-文本对示例如表2所示，最终按照7:2:1比例划分原始数据集为训练集、验证集和测试集。

　　1.2数据预处理

　　在本研究中，由于数据集的全部图像采集自不同设备，因此需要对原始图像进行统一裁剪，将图像大小统一调整像素至224×224，本研究对病害图像的文本描述均为中文，在输入网络之前需要对中文文本进行归一化、分词、构建词表、文本向量化等操作，其中分词使用jieba分词工具，综合考虑原始文本的初始文本长度以及切分后文本的病害特征保留程度，并且经过大量试验验证，向量化的文本长度为20个字符时效果最佳，原始文本超过此长度则切除，不足此长度则补充为0。

　　2双模态联合表征学习的作物病害识别模型构建

　　2.1模型结构

　　在分类任务中，图像分类器提取图像数据的形状、颜色、纹理特征，文本分类器提取文本数据的文本含义以及上下文关系特征。设计双模态病害识别模型（bimodalNet）的初衷是结合图像模态和文本模态两个模态的病害特征，不同模态之间优势互补，最终可以使模态结合后的效果超过任意单一模态达到的效果。双模态病害识别模型由图像模态分支和文本模态分支两部分组成，其网络结构图如图1所示。网络结构由图像分支和文本分支两部分组成，其中图像分支采用卷积神经网络（ResNet18），文本分支采用循环神经网络（TextRNN），网络的输入为图像文本对，两个分支的输出概率分别对应相加作为整体网络的最终输出，最终网络综合了图像分支和文本分支各自的优势，弥补了各分支的不足。

　　2.2图像模态分支

　　卷积神经网络在提取图像特征中展现了其独特的优越性，针对目标图像的纹理、颜色、形状等特征进行卷积输出抽象特征，最后将特征输入分类器得到其分类概率。在图像模态分支中给定图像-文本对中图像Ii和标签imgLi，经过特征提取后得到图像模态分支的输出，如式（1）所示。

　　3试验设计与结果分析

　　3.1试验环境

　　本研究试验与对照组试验均在Ubuntu18.04环境下进行，处理器为Intelcorei99820X，内存为64G，显卡为GeForceRTX2080Ti11GDDR6，采用深度学习框架Pytorch，配合Cuda10.1进行训练，试验设计和对照过程中训练集和验证集的网络批处理大小（Batch-size）分别设置为16和32，所有网络模型迭代次数均为50。

　　3.2试验评价指标

　　本研究从识别准确率（Accuracy）、识别精确率（Precision）、模型灵敏度（Recall）、模型特异性（Specificity）和F1值5个方面进行模型之间的比较，其具体公式参见公式（5）～（9）。

　　4讨论

　　当前，依靠大规模的数据集和手动注释是农业深度学习应用的常见做法[33-34]。PlantVillage数据集是一个很好的例子，数据集包括54303张健康和不健康的叶片图像，按物种和疾病分为38类。在真实的田间条件下，Wiesner-Hanks等[35]采集了18222张玉米枯叶病图像，标注病斑105705个，整个数据集创建从2015年至2017年历时3a。陈雷等[36]建立的大田作物病害识别研究图像数据集，共有水稻、小麦和玉米3种大田作物的15种病害图像，时间跨度为2013到2018。由此可见，通过扩展数据集提升病害识别模型的性能代价较大。单纯依靠扩大病害图像数据集的规模面临如下挑战：一是病害发生的时空跨度大，难以大范围的收集病害图像并进行人工标注；二是同一种病害在不同的作物种类、发病部位、成长阶段、栽培环境下的病症表现差异较大，图像难以涵盖某一种病害的全部特征。但是，正如本研究的结果所表明的，图像-文本双模态联合表征学习方法允许从少样本中学习，而且识别性能相比较单纯依靠图像有所提高，因此在解决少样本的病害图像识别任务方面，“图像+文本”的双模态联合表征学习是一个可行的解决方案。

　　5结论

　　本文构建了图像与文本双模态联合表征学习的作物病害识别模型（bimodalNet）。该模型是一种通用的框架，由图像分支和文本分支两部分构成。在实际使用过程中可以使用任何优异的卷积神经网络结构和循环神经网络结构进行替换，以达到最佳的识别效果。本文中采用了双模态结合后识别效果最佳的ResNet18与TextRNN分别作为图像分支和文本分支。双模态联合表征学习模型充分利用了病害图像特征与文本描述之间的相关性和互补性，在开放环境作物病害小样本数据集中取得了超过图像模态单独训练和文本模态单独训练的效果，最优模型组合（ResNet18+TextRNN）在测试集的准确率、精确率、灵敏度、特异性和F1值分别为99.47%、98.51%、98.61%、99.68%和98.51%。另外，由于一些病害在初期叶片正面的症状相似，难以区分，但在叶片反面存在可区分的特征，因此本文收集了病害叶片的正反面作为病害发生时的特征学习。本文工作为实际农业场景下，基于多模态联合表征学习的小样本作物病害识别提供可行方案。

　　[参考文献]

　　[1]王桂荣，王源超，杨光富，等.农业病虫害绿色防控基础的前沿科学问题[J].科学基金，2020，34(4)：374-380.WangGuirong,WangYuanchao,YangGuangfu,etal.Frontiersinscientificissuesofcontrollingagriculturalpestsanddiseasesbyenvironmental-friendlymethods[J].BulletinofNationalNaturalScienceFoundationofChina,34(4):374-380.(inChinesewithEnglishabstract)

　　[2]曹乐平.基于机器视觉的植物病虫害实时识别方法[J].农学通报，2015，31(20)：244-249.CaoLeping.Real-timeidentificationmethodofplantdiseasesandinsectpestsbasedonmachinevision[J].ChineseAgriculturalScienceBulletin,2015,31(20):244-249.(inChinesewithEnglishabstract)

　　[3]农业农村部.农业年鉴2018[M].北京：农业出版社，2019.[4]农业农村部.农业年鉴2019[M].北京：农业出版社，2020.

　　王春山1,2,3,4，赵春江2,3，吴华瑞2,3※，周冀1,4，李久熙5，朱华吉2,3

上一篇：混流式水轮机特性曲线在多重边界条件下的分区方法 下一篇：金融抑制与经济结构转型问题探索