一种镜头起雾状态检测方法、计算机装置及可读存储介质与流程

本发明属于摄像
技术领域：
，尤其涉及一种镜头起雾状态检测方法、计算机装置及可读存储介质。
背景技术：
随着科技的发展，物联网技术和移动支付的普及，以及消费者的消费需求，“无人零售”模式已经成为当下不可阻挡的发展趋势。在“无人零售”中，智能零售柜（如冰柜等）则应运而生。智能零售柜中一般会设有摄像头，用于实时监控拍摄柜体内部的商品种类和数量，以作为商品售卖结算的依据。然而，当天气较热或者湿度较大时，打开智能冰柜的柜门后，由于外界与冰柜内部的温差较大，冰柜内部的摄像头则容易起雾，从而引起拍摄的图片模糊不清，容易导致错误识别商品的种类和数量，进而导致购买结算的错误，难以达到真正的商业使用。而现有的图像模糊检测方法主要应用于运动目标拍摄和镜头对焦不准确场景的图像检测，对于镜头起雾状态的检测的精准度不高。由此可见，现有的图像模糊检测方法对于镜头起雾现象的检测存在精准度不高，难以解决由于镜头起雾而引起错误识别商品的种类和数量的问题。技术实现要素：本发明实施例提供一种镜头起雾状态检测方法，旨在解决现有的图像模糊检测方法对于镜头起雾现象的检测存在精准度不高，难以解决由于镜头起雾而引起错误识别商品的种类和数量的问题。本发明实施例是这样实现的，一种镜头起雾状态检测方法，包括如下步骤：获取样本图像；提取所述样本图像中的有效图像区域；将所述有效图像区域按预设规则划分出多个待检测区域；基于预定的起雾检测模型，确定所述待检测区域是否存在起雾状态；当确定存在至少一个所述待检测区域存在起雾状态时，则判定所述样本图像为起雾图像，并上报给主控器；根据所述主控器的指令进行重新拍摄，获得重拍的样本图像，并重复上述检测步骤，直至判定所述样本图像为非起雾图像。本发明实施例还提供一种计算机装置，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的各步骤。本发明实施例还提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的各步骤。本发明实施例提供的镜头起雾状态检测方法，根据预设的规则将从样本图像中提取出来的有效图像区域划分出多个待检测区域，并基于预定的起雾检测模型，确定这些待检测区域是否存在起雾状态，当判定这些待检测区域中有至少一个区域为起雾图像，则立即上报给主控器，然后，再根据主控器的控制指令进行实时重拍，获得重拍的样本图像，并重复上述起雾状态检测步骤，直至判定拍摄到的样本图像为非起雾图像为止。因而，可以实时、准确地监控拍摄镜头是否处于起雾状态，提高了镜头起雾状态检测的精准度，大大地降低了因镜头起雾而拍摄到模糊不清的图像（如冰柜中陈列的商品等），进而导致出现错误识别被拍摄物的种类和数量的现象，即很好地解决了现有的图像模糊检测方法对于镜头起雾现象的检测存在精准度不高，难以解决由于镜头起雾而引起错误识别商品的种类和数量的问题，同时，提高了“无人零售”的商业使用质量。附图说明图1是本发明实施例一提供的镜头起雾状态检测方法的实现流程图；图2是本发明实施例提供的全起雾的样本图像示意图；图3是本发明实施例提供的散雾时边缘起雾的样本图像示意图；图4a是本发明实施例提供的一种参考图片示意图；图4b是本发明实施例提供的一种未经处理的样本图像示意图；图4c是本发明实施例提供的剔除干扰黑色边缘后的有效图像区域示意图；图5是本发明实施例提供的一种有效图像区域划分方式示意图；图6是本发明实施例二提供的镜头起雾状态检测方法的局部流程图；图7是本发明实施例三提供的镜头起雾状态检测装置的结构示意图。具体实施方式为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但除非特别说明，这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。为了进一步阐述本发明为实现预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明的具体实施方式及其功效，详细说明如下。本发明实施例提供的镜头起雾状态检测方法，根据预设的规则将从样本图像中提取出来的有效图像区域划分出多个待检测区域，并基于预定的起雾检测模型，确定这些待检测区域是否存在起雾状态，当判定这些待检测区域中有至少一个区域为起雾图像，则立即上报给主控器，然后，再根据主控器的控制指令进行实时重拍，获得重拍的样本图像，并重复上述起雾状态检测步骤，直至判定拍摄到的样本图像为非起雾图像为止。因而，可以实时、准确地监控拍摄镜头是否处于起雾状态，提高了镜头起雾状态检测的精准度，大大地降低了因镜头起雾而拍摄到模糊不清的图像（如冰柜中陈列的商品等），进而导致出现错误识别被拍摄物的种类和数量的现象，提高了“无人零售”的商业使用质量。图1示出了本发明实施例一提供的镜头起雾状态检测方法的实现流程，详述如下：在步骤s101中，获取样本图像。在一个实施例中，样本图像可指含有目标物体的照片或图像。例如，处于食品冰柜中的摄像头拍摄到陈列在冰柜的货架上的商品的照片或者图像，该图片或照片中包含有商品的种类和数量等信息。在步骤s102中，提取样本图像中的有效图像区域。结合上述实施例，有效图像区域，可指步骤s101中获取到的样本图像中商品集中或者分布的区域以及图像中光线较亮的部分区域。在步骤s103中，将有效图像区域按预设规则划分出多个待检测区域。在本发明实施例中，预设规则可指将上述有效图像区域切割成多个形状不同或相同的部分，例如，有效图像区域为一圆形区域，则可将该圆形区域平均分为四个扇形区域；当然也可以以该圆形区域的中心为圆心，按一定的比例半径比例将其划分为多个圆形和圆环形区域。在步骤s104中，基于预定的起雾检测模型，确定待检测区域是否存在起雾状态。对于起雾的图像，可以用如下公式表达：其中，表示拍摄到起雾图像，j表示未起雾的实际图像，t是场景的透射率，a表示场景中全局的大气光照，x表示像素坐标。由于雾气的存在（大气中或者附着在镜头表面），镜头起雾后拍摄出来的图像一般具有如下几个特征：①图像画面整体偏白。由于a一般来说较j更大，所以镜头起雾后拍摄出来的图像整体会有一些“白茫茫”，如图2所示。②图像的清晰度显著下降。由于雾的散光，镜头起雾后拍摄出来的图像，其中的边缘部分会有明显的模糊现象，如图3所示。③图像的色彩饱和度下降。所谓的饱和度，指的其实是色彩的纯度，纯度越高，表现越鲜明，纯度较低，表现则较黯淡。在本发明的一个实施例中，可通过分别获取各待检测区域的t、x值，并代入上述公式求出其a和j值，比较a和j的大小，若a大于j，那么可判定该待检测区域图像i为起雾图像，即该待检测区域存在起雾状态。在步骤s105中，当确定存在至少一个待检测区域存在起雾状态时，则判定样本图像为起雾图像，并上报给主控器。在一个实施例中，当确定存在一个或多个待检测区域存在起雾状态，那么可判定该样本图像为起雾图像，并上报给主控器。在一个实施例中，只要确定有一个或多个待检测区域为起雾图像，则表明当前获取的样本图像存在部分或者全部模糊的现象，并及时将判断结果“当前的样本图像为起雾图像”上报给主控器，提高了图像起雾状态的判断效率和准确性。在步骤s106中，根据主控器的指令进行重新拍摄，获得重拍的样本图像，并重复上述检测步骤，直至判定样本图像为非起雾图像。在一个实施例中，当主控器接收到“当前样本图像为起雾图像”的信息时，向摄像装置发送重拍指令，摄像装置接收到该指令后进行重新拍摄，并对获取到的重拍图像进行上述的起雾状态检测，直至判定拍摄到的图像为非起雾图像为止。本发明实施例提供的镜头起雾状态检测方法，根据预设的规则将从样本图像中提取出来的有效图像区域划分出多个待检测区域，并基于预定的起雾检测模型，确定这些待检测区域是否存在起雾状态，当判定这些待检测区域中有至少一个区域为起雾图像，则立即上报给主控器，然后，再根据主控器的控制指令进行实时重拍，获得重拍的样本图像，并重复上述起雾状态检测步骤，直至判定拍摄到的样本图像为非起雾图像为止。因而，可以实时、准确地监控拍摄镜头是否处于起雾状态，提高了镜头起雾状态检测的精准度，大大地降低了因镜头起雾而拍摄到模糊不清的图像（如冰柜中陈列的商品等），进而导致出现错误识别被拍摄物的种类和数量的现象，提高了“无人零售”的商业使用质量。在本发明实施例中，上述步骤s102包括如下步骤：根据参考图像去除样本图像中对起雾状态判断有干扰的黑色边缘，仅保留样本图像中的有效图像区域。在本发明实施例中，上述样本图像为采用鱼眼镜头拍摄得到的鱼眼图像。在一个实施例中，根据参考图片（如图4a所示）去除样本图像中对起雾状态判断有干扰影响的黑色边缘，提取出样本图像（如图4b所示）中含有被拍摄物体信息（包括物体的形状、数量、种类等）的有效图像区域（如图4c所示）。可以理解的，参考图片的形状还可以是方形、椭圆形等，具体可以根据被拍摄物的分布状况确定。例如，镜头拍摄获取到的样本图像中目标物体集中排布在成方形阵列，那么可以根据该方形阵列的尺寸大小确定参考图片的尺寸大小，以便于选取到样本图像中含有目标物的有效图像区域。在本发明实施例中，上述步骤s103包括如下步骤：将有效图像区域以其图像的中心为中心点，划分出多个有效圆形和环形待检测区域。在一个实施例中，根据镜头起雾和散雾的特点，散雾时镜头中心圆形区域的雾气先散去，慢慢以中心为原点往四周呈现圆形区域形状扩散，可按照预设的规则—以有效图像区域的中心为中心点，划分出3个环形和1个圆形待检测区域（如图5所示）。在一个优选实施例中，将有效图像区域按预设规则划分为3~5个有效圆形和环形待检测区域，可提高起雾状态的识别效果和效率。图6示出了本发明实施例二提供的镜头起雾状态检测方法的局部流程，详述如下：在本发明实施例中，上述步骤s104包括步骤s201和步骤s202。在步骤s201中，基于预定的起雾检测模型，获得所述待检测区域的暗通道直方图中最低直方所占的比例、所述待检测区域的边缘信息的方差以及所述待检测区域的局部最大饱和度的平均值。在一个实施例中，基于上述起雾图像的特征，预定的起雾检测模型可根据待检测区域的暗通道直方图、边缘信息以及局部最大饱和度进行构建，具体的：对于待检测区域i，其暗通道图像可用下述表达式进行定义：其中，表示待检测区域i的颜色通道，表示各颜色通道的大气光照值，表示以像素x为中心的待检测区域的局部图像。作为本发明的一个实施例，对于冰柜中的非箱体区域，摄像头拍摄到的样本图像的暗通道图像中的像素值绝大部分十分接近0；而对于起雾图像，其暗通道图像中的像素值会更接近于。对待检测区域的暗通道图像进行直方图统计，并根据下述公式计算出其最低直方所占的比例：，其中，n表示直方图统计中总的bin的数量，表示暗通道图像中落在第i个bin中像素的数量。对于待检测区域的边缘信息，可以按照下述公式计算出其方差：，其中，i表示图像像素值，x和y表示像素的笛卡尔坐标。，其中，表示计算出的拉普拉斯图像，表示拉普拉斯图像对应的方差。一般的，对于起雾图像，会显著的低于非起雾图像。对于待检测区域的局部最大饱和度，可用下述公式表示：，其中，x表示各像素位置，y表示像素x对应领域的像素位置，表示在位置y各颜色通道的像素值。根据公式：计算其平均值，其中，表示计算的局部最大饱和度，表示局部最大饱和度的平均值。在步骤s202中，根据所述待检测区域的暗通道直方图中最低直方所占的比例、边缘信息的方差以及局部最大饱和度的平均值分别与其各自对应的起雾状态判断阈值的对比结果，确定所述待检测区域是否存在起雾状态。在本发明实施例中，通过对比判断根据上述步骤s201获取的待检测区域的暗通道直方图中最低直方所占比例值、边缘信息的方差值以及局部最大饱和度的平均值是否符合其各自对应的预设判断阈值来确定各待检测区域是否存在起雾状态。在本发明实施例中，当上述对比检测的结果为某（些）待检测区域的暗通道直方图的最低直方所占比例、边缘信息的方差以及局部最大饱和度的平均值有一项或多项符合预设的起雾判断阈值，则可确定该待检测区域存在起雾状态。具体的，例如根据上述步骤s201获取到待检测区域a的暗通道直方图中最低直方所占的比例值为80%，边缘信息的方差值为0.2，局部最大饱和度的平均值为50%。而预设的判断阈值为暗通道直方图中最低直方所占的比例大于40%的存在起雾状态，边缘信息的方差大于0.5时存在起雾状态，局部最大饱和度的平均值小于20%时存在起雾状态，那么将该待检测区域a的上述各项指标与其对应的预设判断阈值的对比结果如下表1所示：表1对比项目待检测区域的各指标检测结果预设的起雾判断阈值对比结果暗通道直方图中最低直方所占的比例80%＞40%起雾状态边缘信息的方差值0.2＞0.5非起雾状态局部最大饱和度的平均值50%＜20%非起雾状态从上表1的对比结果中可以看出，待检测区域a的上述暗通道直方图中最低直方所占的比例符合预设的起雾判断阈值，则可判定该待检测区域a存在起雾状态。在本发明实施例中，当检测出一个或多个待检测区域的上述各项指标中有一项或多项指标符合预设的起雾判断阈值，则确定该待检测区域存在起雾状态，可降低漏检和错检率，提高镜头起雾状态的检测准确度。在本发明实施例中，上述步骤s202包括以下步骤：根据摄像头的成像特点，获得待检测区域自适应调整后的第一起雾状态判断阈值；根据待检测区域的暗通道直方图中最低直方所占的比例、边缘信息的方差以及局部最大饱和度的平均值分别与其各自对应的第一起雾状态判断阈值的对比结果，确定待检测区域是否存在起雾状态。在本发明实施例中，以冰柜内的鱼眼摄像头为例进行说明，根据冰柜内摄像头成像的特点，越靠近鱼眼图像的圆心区域，含有商品的概率越大，其重要性越高；远离鱼眼图像的圆心的区域，为柜体的几率越高，其重要性越低。在一个实施例中，可根据下述缩放系数s(r)自适应地调整各待检测区域的起雾判断阈值：其中，radius为鱼眼图像的圆形的半径或者环形的外径，objectness为上一次检测中区域里货品所占比。在本发明实施例中，可根据鱼眼图像的各个待检测区域的重要性高低，按照上述缩放系数进行缩放调整得到各待检测区域的第一起雾判断阈值。在另一个实施例中，可根据上述每个待检测区域距离鱼眼图像的圆心区域的远近来为各待检测区域赋予不同的加权值，例如，以鱼眼图像（半径为r）的圆心为中心点，划分出一个半径为r的圆形区域a，和依次远离该圆形区域a的环形区域b、c、d，圆形区域a环形区域b、c、d的加权值可分别设置为0.5、0.25、0.2、0.05。圆形区域a环形区域b、c、d各对应的起雾判断阈值分别为e、f、g、h，那么，结合上述缩放系数和加权值对各待检测区域的起雾判断阈值相应调整为下列第一起雾判断阈值：0.5e、0.25f、0.2g、0.05h。在本发明的实施例中，根据待检测区域a、b、c、d的暗通道直方图中最低直方所占的比例、边缘信息的方差以及局部最大饱和度的平均值分别与其对应的第一起雾判断阈值进行对比，得到各待测区域的比对结果，并根据该比对结果确定样本图像是否存在起雾状态，即是否为起雾图像。在本发明实施例中，通过考虑不同镜头的成像特点，自适应地调整其各待检测区域的起雾判断阈值，可以提高起雾检测的准确性，降低出现漏检或错检的几率。在本发明实施例中，上述步骤s106包括步骤：根据所述主控器的指令按预定的时间间隔进行重新拍摄，获得重拍的样本图像。在一个实施例中，主控器的指令可以是每镉2秒、5秒等重拍一次。图7示出了本发明实施例三提供的镜头起雾状态检测装置，包括：获取单元701，用于获取样本图像。在一个实施例中，样本图像可指含有目标物体的照片或图像。例如，处于食品冰柜中的摄像头拍摄到陈列在冰柜的货架上的商品的照片或者图像，该图片或照片中包含有商品的种类和数量等信息。提取单元702，用于提取样本图像中的有效图像区域。结合上述实施例，有效图像区域，可指获取单元701获取到的样本图像中商品集中或者分布的区域以及图像中光线较亮的部分区域。划分单元703，用于将有效图像区域按预设规则划分出多个待检测区域。在本发明实施例中，预设规则可指将上述有效图像区域切割成多个形状不同或相同的部分，例如，有效图像区域为一圆形区域，则划分单元703可将该圆形区域平均分为四个扇形区域；当然也可以以该圆形区域的中心为圆心，按一定的比例半径比例将其划分为多个圆形和圆环形区域。起雾状态确定单元704，用于基于预定的起雾检测模型，确定待检测区域是否存在起雾状态。对于起雾的图像，可以用如下公式表达：其中，表示拍摄到起雾图像，j表示未起雾的实际图像，t是场景的透射率，a表示场景中全局的大气光照，x表示像素坐标。由于雾气的存在（大气中或者附着在镜头表面），镜头起雾后拍摄出来的图像一般具有如下几个特征：①图像画面整体偏白。由于a一般来说较j更大，所以镜头起雾后拍摄出来的图像整体会有一些“白茫茫”，如图4所示。②图像的清晰度显著下降。由于雾的散光，镜头起雾后拍摄出来的图像，其中的边缘部分会有明显的模糊现象，如图5所示。③图像的色彩饱和度下降。所谓的饱和度，指的其实是色彩的纯度，纯度越高，表现越鲜明，纯度较低，表现则较黯淡。在本发明的一个实施例中，起雾状态确定单元704可通过分别获取各待检测区域的t、x值，并代入上述公式求出其a和j值，比较a和j的大小，若a大于j，那么可判定该待检测区域图像i为起雾图像，即该待检测区域存在起雾状态。上报单元705，用于当确定存在至少一个待检测区域存在起雾状态时，则判定样本图像为起雾图像，并上报给主控器。在一个实施例中，当上报单元705确定存在一个或多个待检测区域存在起雾状态，那么可判定该样本图像为起雾图像，并上报给主控器。在一个实施例中，只要上报单元705确定有一个或多个待检测区域为起雾图像，则表明当前获取的样本图像存在部分或者全部模糊的现象，并及时将判断结果“当前的样本图像为起雾图像”上报给主控器，提高了图像起雾状态的判断效率和准确性。重拍单元706，用于根据主控器的指令进行重新拍摄，获得重拍的样本图像，并重复上述检测步骤，直至判定样本图像为非起雾图像。在一个实施例中，当主控器接收到“当前样本图像为起雾图像”的信息时，向摄像装置发送重拍指令，摄像装置中的重拍单元706接收到该指令后进行重新拍摄，并对获取到的重拍图像进行上述的起雾状态检测，直至判定拍摄到的图像为非起雾图像为止。本发明实施例提供的镜头起雾状态检测装置，根据预设的规则将从样本图像中提取出来的有效图像区域划分出多个待检测区域，并基于预定的起雾检测模型，确定这些待检测区域是否存在起雾状态，当判定这些待检测区域中有至少一个区域为起雾图像，则立即上报给主控器，然后，再根据主控器的控制指令进行实时重拍，获得重拍的样本图像，并重复上述起雾状态检测步骤，直至判定拍摄到的样本图像为非起雾图像为止。因而，可以实时、准确地监控拍摄镜头是否处于起雾状态，提高了镜头起雾状态检测的精准度，大大地降低了因镜头起雾而拍摄到模糊不清的图像（如冰柜中陈列的商品等），进而导致出现错误识别被拍摄物的种类和数量的现象，提高了“无人零售”的商业使用质量。本发明实施例还提供了一种计算机装置，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述镜头起雾状态检测方法的各步骤。本发明实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的镜头起雾状态检测方法的各步骤。示例性的，计算机程序可以被分割成一个或多个模块，一个或者多个模块被存储在存储器中，并由处理器执行，以完成本发明。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机装置中的执行过程。例如，所述计算机程序可以被分割成上述各个方法实施例提供的镜头起雾状态检测的步骤。本领域技术人员可以理解，上述计算机装置的描述仅仅是示例，并不构成对计算机装置的限定，可以包括比上述描述更多或更少的部件，或者组合某些部件，或者不同的部件，例如可以包括输入输出设备、网络接入设备、总线等。所称处理器可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机装置的控制中心，利用各种接口和线路连接整个用户终端的各个部分。所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（smartmediacard,smc），安全数字（securedigital,sd）卡，闪存卡（flashcard）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。所述计算机装置集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（rom，read-onlymemory）、随机存取存储器（ram，randomaccessmemory）、电载波信号、电信信号以及软件分发介质等。以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。当前第1页12