利用多模态RGB与热成像融合实现玉米草地贪夜蛾的鲁棒性检测
摘要
有效的病虫害检测在减少作物损失和改进精准农业决策方面发挥着至关重要的作用。草地贪夜蛾（FAW）是全球范围内影响玉米作物最具破坏性的害虫之一，以其快速传播和对产量的高影响而闻名。现有的检测实践通常依赖于人工巡查，这种方法效率低下、劳动密集且容易受到人为错误的影响。本研究提出了一种新颖的深度学习框架，通过整合RGB和热成像图像模态，实现对受FAW侵染和健康玉米作物的自动分类。其核心目标是通过多模态图像融合来提高检测准确性。该研究引入了一种混合DNN-ViT模型，它结合了两个互补的流程：（i）特征级融合，即从RGB和热成像图像中提取的CNN特征被融合，并使用深度神经网络（DNN）进行分类；（ii）图像级融合，即一个6通道的RGB-热成像图像直接使用改进的视觉转换器（ViT）进行处理。实验结果表明，融合模型取得了优异的性能，在测试集上的准确率达到0.98，精确度、召回率和F1分数均为0.98，AUC-ROC为0.98，优于仅在RGB数据、仅在热成像数据以及未融合数据上训练的模型。消融研究证实了多模态融合的有效性，未融合模型的性能显著较低（准确度0.60，AUC-ROC 0.67）。这项工作凸显了整合互补数据源对于鲁棒性作物健康监测的优势。未来的研究将探索增强的融合策略、环境鲁棒性以及田间部署，以验证该模型的实际适用性。
数据可用性
该数据集已作为同行评审数据出版物的一部分在Figshare数据存储库中公开提供。有关数据采集、传感器规格、环境条件和标注协议的详细信息在随附的数据文章中提供。数据集可通过以下链接访问：https://figshare.com/s/677d2384ba6e02db9230（https://doi.org/10.6084/m9.figshare.28388018）。
代码可用性
本研究开发的自定义Python代码作为补充文件（“Supplementary Code.zip”）提供，包含重现多模态特征融合、图像级融合和消融实验所需的所有脚本。所使用的数据集已在Figshare上公开。所有依赖项均在代码文件中列出。读者可以执行Python脚本来重现报告的结果。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）
