机器人视觉的集中风系统内部霉菌与积尘辨识方法及应用

本发明属于计算机图像识别技术领域，涉及基于机器人视觉的物体检测分类方法，尤其是基于机器人视觉的集中风系统内部霉菌与积尘辨识方法。

背景技术：

我国公共建筑面积超过128亿平方米(2020年数据)，其中超过20％设有集中空调通风系统。该系统主要包括新风口、送排风机、过滤器、通风管道等，可以控制和调节室内空气的温湿度，提供新鲜干净的空气并去除室内污染物，为人们创造舒适、健康的室内环境。一方面，送往室内环境的空气不可避免地与空调通风系统接触，而二者之间的接触可能改变空气的原有组分。另一方面，空调通风系统的正常运行也可能改变室内空气的组成，不管是运行本身，还是集中通风系统的相关参数设定。前者主要指通风系统内存在的不同组分对室内空气产生了直接影响，比如系统内的积尘颗粒物、微生物(如积尘伴生霉菌、细菌)等随气流进入室内；后者既包括换气次数、气流组织等参数对室内空气的影响，也包括该系统整体可作为传播通道(由送风和回风形成的空气循环回路)，将空气中已有的污染物(如致病菌)从某一室内环境输送到更多的室内环境，引起范围更广的室内人员健康问题。在covid-19肆虐的当下，在病毒微生物通过集中空调通风系统传播的机理尚未揭示前，研究集中通风系统内部环境可视化诊断及定量化评价方法与相关技术具有重要意义。

机器人在集中通风系统中通过视觉辨识可见污染物(霉菌与积尘)需要借助图像识别技术。该技术是一种利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术，在以图像为主体的智能化数据采集与处理中具有十分重要的作用和影响。使用图像识别技术能够有效地处理特定目标物体的检测和识别、图像的分类标注以及主观图像质量评估等问题。

早期的图像识别系统主要采用尺度不变特征变换和方向梯度直方图等特征提取方法，然后将提取到的特征输入至分类器中进行分类识别。这一时期的图像识别系统一般都是针对某个特定的识别任务，且数据的规模不大，泛化能力较差，难以在实际应用问题当中实现精准的识别效果。随后，基于卷积神经网络的深度学习模型在大规模图像分类任务上取得了非常显著的性能提升，掀起了深度学习研究的热潮。以深度神经网络为底层的机器视觉很快拓展到千万数量级的图像分类、无人驾驶技术、人脸精细化识别及人体运动姿态估计等众多领域。深度学习利用卷积神经网络的卷积层、池化层和全连接层等基本结构，就可以让该网络自己学习和提取相关特征，并加以利用。这种特性为许多研究提供了许多便利，可以省略过往非常繁杂的建模过程。在与本发明相关的机器视觉进展方面，现阶段已有学者将图像识别应用于稻谷霉变真菌的自动化检测及生物菌落形态的分类筛选研究中，尚未有研究将机器视觉与近似“黑箱”的建筑集中通风系统内部环境的可视化相关联。

技术实现要素：

本发明的目的是针对上述问题提供一种基于机器人视觉的集中风系统内部霉菌与积尘辨识方法。通过机器人视觉的引入实现平时无法监测(相对“封闭”)的集中风系统内部环境探测，为集中风系统的定期、定向消毒清洗提供依据，保障室内人员健康。

为达到上述目的，本发明采用的技术方案是：

通过搭载高清摄像机的可移动式管道机器人解决通风系统内部全景视频流的采集难题，结合多种算法对包含霉菌及积尘的图帧进行光照度还原、噪声剔除及图像增强等，通过深度神经网络的构建实现霉菌与积尘图像特征的精准分类。包括以下步骤：

(1)通过机器人拍摄的风管道内图像搭建数据库，研究风管道内两种典型可见污染物—霉菌及积尘的视觉特征；(2)引入自适应算法增强图像、高斯滤波图像去噪及管道相对运动模糊图像的维纳滤波恢复对实际探测过程中的视频流进行预处理；(3)构造深度学习目标检测算法，确定卷积神经网络的框架、隐含层数及步长等关键参数，利用该网络提取风管道内霉菌及积尘的图像特征；(4)基于霉菌及积尘的视觉图像及机器人视频采样时的位置信息，建立集中通风系统霉菌及积尘产生位置及覆盖面积数据库；(5)根据定期巡检的视频采样数据，利用k-means聚类分析方法从大数据层面揭示风管道内部何处易产生积尘与霉菌。

进一步，包括：

(1)通过机器人拍摄的风管道内图像搭建数据库，研究风管道内两种典型可见污染物—霉菌及积尘的视觉特征：

(1.1)所述机器人为履带式机器人，机器人视觉系统则为搭载在机器人车身云台上的图像采集模块。

(1.2)所述图像采集模块为工业级ccd相机，具有灵敏度高、畸变小、体积小、抗震动等优点，由于集中通风系统内采光条件较差，故摄像机还需配备led组合光源。

所述的机器人及其搭载的所有装置，由本领域技术人员在现有技术中根据需要选择、组合实现。

(1.3)通过在实际通风系统中进行的机器人视觉实验(不同角度、不同光源、不同明暗程度)获取具有不同视觉特征的霉菌、积尘图片作为初期视觉特征数据库的主要数据来源，并将旋转、模糊、加噪的图片作为补充。

(1.4)以上数据库可根据实际应用过程中机器人图像采集系统拍摄的霉菌、积尘图片进行进一步扩充，使采集图像数量≥5000张。

(2)引入自适应算法增强图像、高斯滤波图像去噪及管道相对运动模糊图像的维纳滤波恢复对视频流进行预处理。

(2.1)所述自适应图像增强算法(retinex)主要针对采光条件下由led光源导致的图像光照不均难题，当入射光照射在反射物体上时，经过反射物体的反射从而进入人眼成像，以上过程可用公式表述为：

h(x,y)＝i(x,y)·r(x,y)(1)

其中，x和y分别为二维图像像素点坐标；h(x,y)表示进入人眼所获得的原始图像；i(x,y)表示照度图像，代表了图像像素的动态范围；r(x,y)表示反射图像，反映图像的内在性质。

(2.2)自适应retinex算法通过对原始图像进行高斯卷积操作，将得到的一阶滤波图像作为当前图像的照射分量，即i’(x,y)

其中，i(x,y)表示照度图像，代表了图像像素的动态范围。r1(x,y)为自适应矫正系数。

再利用如下公式求得反射分量，该反射图像即为增强后的图像。

rretinex(x,y)＝logh(x,y)-log[g(x,y)*h(x,y)](3)

其中，rretinex表示自适应retinex算法增强后的图像；“*”为卷积符号；g(x,y)为高斯滤波函数，c为标准差。

(2.3)对于拍摄图像的噪声问题，采用高斯滤波算法进行处理。其基本步骤包括：

1)对于所得图像矩阵，利用邻域内其它像素点到邻域中心的距离，代入二维高斯函数，计算出高斯模板；2)若模板中的元素为小数形式，则需进行归一化处理，使模板左上角元素值归为1；3)将高斯模板的中心对准待处理的图像矩阵，然后对应元素相乘后加权，没有元素的区域通过补充0元素填满；4)对图像矩阵中每个元素重复步骤1-3，输出矩阵即为高斯滤波去噪后的结果。

(2.4)对于拍摄图帧预处理中涉及的由于机器人移动产生的图像模糊问题，采用维纳滤波器还原模糊图像。算法控制方程为：

ε²＝e[(f-f')²]→min(5)

式中，f为恢复前的图像；f‘为使用维纳滤波还原后的图像；e[·]表示均方差。还原后图像的傅立叶变换公式为：

式中，f’(u,v)为f’的逆变换；sη(u,v)为噪声的功率谱；sf(u,v)为原始图像的功率谱；h(u,v)为退化函数的傅立叶变换，有

|h(u,v)|²＝h^*(u,v)h(u,v)(7)

h^*(u,v)为h(u,v)的复共轭，由此，即可得到还原图像f’。

(3)构造深度学习目标检测算法，确定卷积神经网络的框架、隐含层数及步长等关键参数，利用该网络提取风管道内霉菌及积尘的图像特征。

(3.1)对于风管道图像的分类检索即是搜索到机器人图像采集模块拍摄的视频流中的含有霉菌或积尘的帧图片，采用基于深度卷积神经网络的图像特征分类算法实现。

(3.2)用于风管道内图像分类的卷积神经网络为alexnet网络，共有23层，主要包括输入层、卷积层、激活函数层、池化层、全连接层和输出层。

(3.3)输入层的输入图像为预处理后的风管道图像，大小为[224×224×3]；

卷积层中的神经元与上一输入层或池化层中的局部区域连接，将自身权重与上一层的区域做内积计算，共有5层；激活函数层将每个元素进行激活操作，其目的是加速计算收敛，与卷积层对应，共有5层；池化层主要针对图像的一个局部区域中不同位置的特征进行聚合统计操作，与卷积层对应，共有5层；最后是3个全连接层及其对应的激活层，输出层使用softmax进行回归。

(4)基于霉菌及积尘的视觉图像及机器人视频采样时的位置信息，建立集中通风系统霉菌及积尘产生位置及覆盖面积数据库。数据库拟采用mysql平台搭建。

(5)根据定期巡检的视频采样数据，利用k-means聚类分析方法从大数据层面揭示风管道内部何处易产生积尘与霉菌。

(5.1)k-means聚类分析方法是常用的大数据分析方法，其实现流程如下：

1)给定大小为n的数据集，选定机器人每次巡检辨识的霉菌积尘位置为待聚类数据，令o＝i，随机选取k个聚类中心zj(o)，j＝1,2,...,k，o代表不同迭代轮数的聚类中心。

2)计算每个样本数据对象与聚类中心的距离d(xi,zj(o))，i＝1,2,3...并分类。

3)令o＝o+1，计算新的聚类中心与误差平方和准则中的目标函数值：

4)判断若|jc(o+1)-jc(o)|＜threshold或对象类别无变化，则聚类结束，否则，o＝o+1，返回第2)步。

(5.2)k-means聚类在matlab中有对应的函数模块可便捷实现，仅需将输入数据库录入为matlab常用的矩阵形式。

与现有技术相比，本发明具有以下有益效果：

本发明构思了以搭载机器视觉系统的管道式机器人巡逻集中空调通风系统的技术思路，首次将基于深度学习的目标检测算法及多种图像优化算法(自适应图像增强算法、高斯滤波算法、维纳滤波算法)应用于低采光风管道中的霉菌与积尘的视觉特征提取，并引入大数据分析的方法揭示系统内部何处易滋生积尘或霉菌。解决了目前通风系统内的积尘、霉菌微生物等主要依赖多点采样、费时费力的难题，使本领域相关技术人员能够以可视化、定量化的方式评价集中通风系统内部环境，为通风系统定期、定向清洗提供依据。

附图说明

图1为本发明的方法流程图。

图2为拟搭载图像识别系统的机器人示意图。

图3为alexnet深度神经网络结构。

图4为风管道内霉菌积尘辨识效果示意图。

图5为某集中通风系统内的霉菌与积尘多发位置示意图。

图6为机器人视觉实验示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为基础进行实施，包括详细的实施方式和具体的操作过程。

s101、基于机器人视觉的集中风系统内部霉菌与积尘辨识方法的流程图如图1所示，该流程主要分为5个阶段。

本实施例的基于机器人视觉的集中风系统内部霉菌与积尘辨识方法包括如下步骤：

s102、搭载视觉系统的风管道巡检机器人应具有的总体结构如图1所示，主要包括机器人本体、图像采集模块与控制模块。其中机器人本体由具有定位功能的履带式机器人、支架与云台组成，图像采集模块则位于云台，通过支架可调节图像采集模块高度，以适应不同管径的风管道巡检要求。机器人本体采用履带驱动方式并搭配直流减速驱动电机，加大机器人与风管道下表面的受力面积，增大摩擦，在保持车体稳定行进的条件下，使其具有较强的管道内越障能力(可越过两管段夹角≥110°的管段连接)。

s103、所述机器人摄像机云台包含x和y两个方向的旋转自由度，经由齿轮减速电机与同步带的控制，图像采集模块可实现前后俯仰动作及左右滚转，可大幅提升摄像机的拍摄范围。机器人所搭载的摄像机为工业级ccd相机，具有灵敏度高、畸变小、体积小、抗震动等优点，由于集中通风系统内采光条件较差，故摄像机还需配备led组合光源。在封闭的风管道内部作业时，机器人通过控制模块驱动本体移动，ccd相机实时采集风管道内部的全景图像，采集的图像与数据通过相机与传感器自带的存储装置记录，待机器人巡检结束并回收后，对所测得的图像及数据开展离线分析。

s104、通过在实际通风系统中进行的机器人视觉实验(不同角度、不同光源、不同明暗程度)获取具有不同视觉特征的霉菌、积尘图片作为初期数据库的主要数据来源，并将旋转、模糊、加噪的图片作为补充。在未来的工程应用中，所述霉菌与积尘数据库可根据在不同集中通风系统中机器人图像采集系统拍摄的霉菌、积尘图片进行进一步扩充，优选地，扩充图片的数量应≥5000张。

s105、通过引入自适应retinex算法处理低采光条件下由led光源辅助成像导致的图像光照不均难题，构造高斯滤波算法去除图像噪声并采用维纳滤波器还原机器人移动过程形成的模糊图像，形成针对低采光风管道中视觉图像预处理的成套方法。

s106、用于风管道内图像分类的卷积神经网络结构略复杂，为alexnet网络，共有23层，主要包括输入层、卷积层、激活函数层、池化层、全连接层和输出层。本实施例中，机器人所拍摄的视频图帧统一至相同的尺寸224×224×3作为输入，卷积层1采用96个大小为11×11×3，步长为4的卷积核对风管道图像进行卷积运算，其后为激活层1与池化层1，池化层窗口大小为3，步长为2，对上一层特征进行池化操作；卷积层2使用256个5×5×96，步长为1的卷积核对上一层风管道图像做卷积运算，其后为激活层2与池化层2，池化层窗口大小为3，步长为2，对上一层特征进行池化操作；卷积层3使用384个大小为3×3×256，步长为1的卷积核对上一层的风管道图像做卷积运算，其后为激活层3与池化层3，池化层窗口大小为3，步长为2，对上一层特征进行池化操作；卷积层4采用384个大小为3×3×192，步长为1的卷积核对上一层的风管道图像做卷积运算，其后为激活层4与池化层4；卷积层5采用256个大小为3×3×192，步长为1的卷积核对上一层的风管道图像做卷积运算，其后为激活层5与池化层5。最后是3个全连接层及其对应的激活层，输出层使用softmax进行回归。整个深度神经网络结构如图3所示。经图像预处理及深度学习视频特征提取后的风管道内霉菌积尘辨识效果如图4所示，其中的数字表示由管道与视觉窗口的比表面积估算的霉菌积尘覆盖面积。

s107、根据霉菌及积尘的视觉图像及机器人视频采样时的位置信息，可建立集中通风系统霉菌及积尘产生位置及覆盖面积数据库，该数据可作为对当前状态的集中通风系统进行定向消毒清洗的依据。基于定期巡检的视频采样数据，利用k-means聚类分析方法从大数据层面揭示风管道内部何处易产生积尘与霉菌，如图5为风管道系统霉菌与积尘多发位置示意图。

s108、在该发明投入实际应用前需通过实验测试机器人视觉系统在不同系统运行工况下对霉菌及积尘辨识的有效性。由于霉菌的制备较为困难，且在通风系统中积尘与霉菌通常是伴生的，因此本实施例中的实验仅通过发尘器在通风系统运行期间制造的积尘来检验深度视觉图像特征提取算法的有效性。产生的积尘经由导管泵入送风气流，在其累积阶段先关闭部分风口，并调整风速，使积尘在通风系统内各处形成视觉上可观测的规模，在预设的通风系统检修口放入机器人，使其按规划路径巡逻并拍摄风管道内的全景视频流，以在不同角度、光源及明暗程度下提取的包含积尘的图帧作为训练集对深度神经网络实施训练，进而使通风系统与发尘器再次运行一段时间，以当次机器人巡逻拍摄的包含积尘的图帧作为测试集对视觉辨识的准确性进行验证，从而同时实现积尘图像特征数据库的初步构建与深度视觉算法实施有效性的检验。机器人视觉实验如图6所示。

可见，本发明提供了一种基于机器人视觉的集中风系统内部霉菌与积尘辨识方法，该方法可用于解决集中通风系统的内部环境由于无法可视化且目前定量化监测方法局限性较大的难题，引导集中通风系统由“黑箱”向“白箱”转变，为其定时、定向清洗消毒提供依据，保障室内人员健康。

上述的对实施例的描述是为便于该技术领域的普通技术人员能理解和使用发明。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改，并把在此说明的一般原理应用到其它实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，不脱离本发明范畴所做出的改进和修改都应该在本发明的保护范围之内。