本发明涉及数字图像信号检测技术领域，具体而言，涉及一种图像马赛克检测方法、图像马赛克检测系统、计算机设备、计算机可读存储介质。
背景技术：
视频信号的图像马赛克通常是指图像中局部出现的块状特征，使得该区域看上去像是由一个一个的小格子组成的。图像马赛克的成因有两种：一种是人为生成的，其目的是使目标区域的细节无法辨认；另一种是在视频在编码、传输和解码的某一环节的故障导致了解码后的视频图像出现了马赛克。第二种情况又可分为两类，一类是由于编码过程中码率太低或者编码性能太差导致出现马赛克现象，另一类是由于传输过程中由于丢包等原因产生误码导致解码发生错误而出现马赛克。
在实际应用中对这两大类图像马赛克均有检测和报警的需求。对于数字电视广播的前端信号监测和后端播出安全监控系统，以及IPTV(交互式网络电视)的播出质量监测系统，更关注如何检测视频在编码、传输以及解码过程中产生的图像马赛克故障。然而，无论是哪种原因产生的图像马赛克，目前并没有被广泛认可或者应用的检测图像马赛克的技术标准，主要原因是与常见的静帧、黑场、亮度异常、色度异常等图像故障相比，图像马赛克的检测技术难度要大得多。
技术实现要素：
本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。
为此，本发明第一个方面在于提出一种图像马赛克检测方法。
本发明的第二个方面在于提出一种图像马赛克检测系统。
本发明的第三个方面在于提出一种计算机设备。
本发明的第四个方面在于提出一种计算机可读存储介质。
有鉴于此，根据本发明的一个方面，提出了一种图像马赛克检测方法，包括：对获取的待检测图像进行预处理，获得待检测图像的差分图像；对差分图像进行角点检测，获得差分图像的角点图像；对差分图像进行边缘检测，获得差分图像的水平和垂直边缘图像；基于水平和垂直边缘图像，对角点图像中所有角点进行筛选，去除误报角点，以获得目标角点；在目标角点的数量大于第一阈值时，判定待检测图像为马赛克图像。
本发明提供的图像马赛克检测方法，从正在处理的视频信号的亮度图像中获取待检测图像，对待检测图像进行预处理，获取差分图像，获得的差分图像作为下一检测过程的输入数据；下一检测过程为对差分图像进行角点检测，角点检测的方法可以是Harris Corner Detector(Harris角点检测，一种角点检测算法)，Corner Detector(Corner角点检测，一种角点检测算法)，Trajkovic and Hedley corner detector(Trajkovic and Hedley角点检测，一种角点检测算法)，通过角点检测获得角点图像，对差分图像进行边缘检测，获得水平和垂直边缘图像，其中，对差分图像进行角点检测和边缘检测可以先后进行，也可以并行进行；然后对角点图像中所有角点进行筛选，去除误报角点，获得目标角点(真实角点)；在目标角点的数量大于第一阈值时，判定待检测图像为马赛克图像。本发明能够对不同成因下，包括人为生成的和视频传输过程中故障导致的图像马赛克进行自动检测，实现了视频质量监测中图像马赛克的检测，且在检测过程中去除误报角点，提高了图像马赛克的检测准确性。
根据本发明的上述图像马赛克检测方法，还可以具有以下技术特征：
在上述技术方案中，优选地，在对获取的待检测图像进行预处理，获得待检测图像的差分图像之前，还包括：对待检测视频进行逐帧抽取图像或按照预设周期抽取图像，获得待检测图像。
在该技术方案中，在对获取的待检测图像进行预处理，获得待检测图像的差分图像之前，根据检测视频的类型，获取待检测图像的方式不同，如对IPTV视频进行质量监测，通过接收IPTV管理平台发送的视音频信号来获取待检测图像，如对离线视频进行质量监测，通过主动读取视频文件来获取待检测图像，具体是对视频进行逐帧抽取图像或按照预设周期抽取图像，或随机抽取图像。
在上述任一技术方案中，优选地，对获取的待检测图像进行预处理，获得待检测图像的差分图像的步骤，具体包括：采用空域微分算子或频域高通滤波或频域带通滤波对待检测图像进行预处理，获取待检测图像的水平差分图像和垂直差分图像；其中，空域微分算子包括Sobel(索贝尔)算子、Roberts(罗伯茨)算子、Canny算子(一种空域微分算子)、Prewitt算子(一种空域微分算子)。
在该技术方案中，通过采用空域微分算子或频域高通滤波或频域带通滤波对待检测图像进行预处理，经过处理，提取到待检测图像的水平差分图像和垂直差分图像，为后续检测步骤提供基础。
在上述任一技术方案中，优选地，对差分图像进行边缘检测，获得差分图像的水平和垂直边缘图像的步骤，具体包括：根据水平差分图像和垂直差分图像获得水平和垂直边缘图像。
在该技术方案中，对差分图像进行边缘检测，获得差分图像的水平和垂直边缘图像的步骤，具体就是根据水平差分图像和垂直差分图像进一步处理，最终获得水平和垂直边缘图像。
在上述任一技术方案中，优选地，若空域微分算子为Sobel算子，则采用索贝尔Sobel算子对待检测图像进行预处理，获取待检测图像的水平差分图像和垂直差分图像的步骤，具体包括：采用第一预设公式获得水平差分图像和垂直差分图像：
其中，A为待检测图像，Sobel_Gx为检测图像垂直边缘的索贝尔Sobel算子，Sobel_Gy为检测图像水平边缘的索贝尔Sobel算子，Gx为水平差分图像，Gy为垂直差分图像。
在该技术方案中，空域微分算子包括索贝尔Sobel算子、罗伯茨Roberts算子、Canny算子、Prewitt算子，其中，索贝尔Sobel算子应用广泛且算法简单，如果空域微分算子为Sobel算子，则采用索贝尔Sobel算子对待检测图像进行预处理，获取待检测图像的水平差分图像和垂直差分图像的过程，分别采用索贝尔Sobel算子中检测图像垂直边缘的索贝尔Sobel算子和检测图像水平边缘的索贝尔Sobel算子与待检测图像乘积，获得水平差分图像和垂直差分图像。
在上述任一技术方案中，优选地，根据水平差分图像和垂直差分图像获得水平和垂直边缘图像的步骤，具体包括：采用第二预设公式提取差分图像的垂直边缘和水平边缘：
采用第三预设公式获取水平和垂直边缘图像：
其中，Thigh为第二阈值，Tlow为第三阈值，第二阈值大于第三阈值；P(i,j)为差分图像的任一像素点，Gx(i,j)为P(i,j)的水平差分图像，Gy(i,j)为P(i,j)的垂直差分图像，Edge(i,j)为P(i,j)的水平和垂直边缘图像。
在该技术方案中，根据水平差分图像和垂直差分图像获得水平和垂直边缘图像的过程，通过采用第二预设公式获得图像的垂直边缘点和水平边缘点，以及非水平或非垂直边缘点，再进而根据第三预设公式获取水平和垂直边缘图像，为角点筛选提供基础。
在上述任一技术方案中，优选地，基于水平和垂直边缘图像，对角点图像中所有角点进行筛选，去除误报角点，以获得目标角点的步骤，具体包括：针对所述角点图像中每一个角点，设置以其为中心点的XY方向的坐标轴以及第一预设区域；以预设马赛克图像大小为搜索维度，按照第四预设公式统计在所述坐标轴X轴正方向和X轴负方向统计所述第一预设区域内所述角点的水平边缘点数量，以及在所述坐标轴Y轴正方向和Y轴负方向统计所述第一预设区域内所述角点的垂直边缘点数量：
按照第五预设公式计算角点概率：
按照第六预设公式获得角点概率图像MosaicCorner(i,j)：
MosaicCorner(i,j)＝max{Probm(i',j'),P(i',j')∈Rc}
根据所述角点概率图像MosaicCorner(i,j)获得所述备选角点；设置以任一备选角点为中心的预设矩形，获取所述预设矩形范围内除所述任一备选角点之外的其他备选角点；判断所述任一备选角点是否为所述预设矩形内取值最大的M个备选角点之一；若判断结果为是，则将其确定为所述目标角点；若判断结果为否，则将其确定为所述误报角点，并删除所述误报角点；其中，NP0为坐标轴Y轴正方向的垂直边缘点数目，NP1为坐标轴X轴正方向的水平边缘点数目，NP2为坐标轴Y轴负方向的垂直边缘点数目，NP3为坐标轴X轴负方向的水平边缘点数目，MosaicSize为预设马赛克图像大小，Probm(i',j')为第一预设区域内任一点P(i',j')的角点概率，Tm为第四阈值，Tm≤MosaicSize，M为大于等于1的正整数。
在该技术方案中，对角点图像中所有角点进行筛选，去除误报角点，以获得目标角点的过程，因一个典型的马赛克角点应该连接四条边缘线，两条水平两条垂直，分别用l0，l1，l2和l3表示，这四条线段的长度代表了马赛克块的大小，用MosaicSize表示，对于角点图像Corner中的每一个角点Cor(i,j)，对Cor(i,j)为中心的某一区域Rc内的每一个像素点P(i',j')进行如下处理：
以P(i',j')点为起始点，以MosaicSize为搜索维度，沿l0和l2的方向统计垂直边缘点的数目，分别记为NP0和NP2；沿11和l3的方向统计水平边缘点的数目，分别记为NP1和NP3：
计算P(i',j')点的“马赛克角点概率”：
其中Tm为预先设定的阈值且满足Tm≤MosaicSize。马赛克角点概率图像MosaicCorner如下式计算：
MosaicCorner(i,j)＝max{Probm(i',j'),P(i',j')∈Rc}
对于每一个备选马赛克角点MosaicCorner(i,j)，设定以其为中心的一个SxS的区域(满足S≤2MosaicSize-3)，遍历该区域内部全部的备选马赛克角点MosaicCorner(i',j')，如果MosaicCorner(i,j)属于取值最大的M个备选马赛克角点(M为预先设定的参数)，则认为该点是真正的马赛克角点予以保留，否则将其确定为误报角点，并删除误报角点。如此，通过对马赛克角点的筛选降低了误检率，提高了马赛克图像检测的准确度。
在上述任一技术方案中，优选地，在目标角点的数量大于第一阈值时，判定待检测图像为马赛克图像之后，还包括：针对检测到的马赛克图像进行报警。
在该技术方案中，在提取到了全部的马赛克角点且目标角点的数量大于第一阈值，判定待检测图像为马赛克图像之后，进行报警处理，使得监测部门或人员根据报警信号及时进行处理。报警阈值可以根据实际应用采取不同的方法来确定。
根据本发明的第二个方面，提出了一种图像马赛克检测系统，包括：差分单元，用于对获取的待检测图像进行预处理，获得待检测图像的差分图像；角点检测单元，用于对差分图像进行角点检测，获得差分图像的角点图像；边缘检测单元，用于对差分图像进行边缘检测，获得差分图像的水平和垂直边缘图像；筛选单元，用于基于水平和垂直边缘图像，对角点图像中所有角点进行筛选，去除误报点，以获得目标角点；判定单元，用于在目标角点的数量大于第一阈值时，判定待检测图像为马赛克图像。
本发明提供的图像马赛克检测系统，从正在处理的视频信号的亮度图像中获取待检测图像，差分单元对待检测图像进行预处理，获取差分图像，获得的差分图像作为下一检测过程的输入数据；下一检测过程为角点检测单元对差分图像进行角点检测，角点检测的方法可以是Harris Corner Detector(Harris角点检测，一种角点检测算法)，Corner Detector(Corner角点检测，一种角点检测算法)，Trajkovic and Hedley corner detector(Trajkovic and Hedley角点检测，一种角点检测算法)，边缘检测单元通过角点检测获得角点图像，对差分图像进行边缘检测，获得水平和垂直边缘图像，其中，对差分图像进行角点检测和边缘检测可以先后进行，也可以并行进行；然后筛选单元对角点图像中所有角点进行筛选，去除误报角点，获得目标角点(真实角点)；在目标角点的数量大于第一阈值时，判定单元判定待检测图像为马赛克图像。本发明能够对不同成因下，包括人为生成的和视频传输过程中故障导致的图像马赛克进行自动检测，实现了视频质量监测中图像马赛克的检测，且在检测过程中去除误报角点，提高了图像马赛克的检测准确性。
根据本发明的上述图像马赛克检测系统，还可以具有以下技术特征：
在上述技术方案中，优选地，还包括：抽取单元，用于对待检测视频进行逐帧抽取图像或按照预设周期抽取图像，获得待检测图像。
在该技术方案中，在对获取的待检测图像进行预处理，获得待检测图像的差分图像之前，根据检测视频的类型，获取待检测图像的方式不同，如对IPTV(交互式网络电视)视频进行质量监测，通过接收IPTV管理平台发送的视音频信号来获取待检测图像，如对离线视频进行质量监测，通过主动读取视频文件来获取待检测图像，具体是抽取单元对视频进行逐帧抽取图像或按照预设周期抽取图像，或随机抽取图像。
在上述任一技术方案中，优选地，差分单元具体包括：差分子单元，用于采用空域微分算子或频域高通滤波或频域带通滤波对待检测图像进行预处理，获取待检测图像的水平差分图像和垂直差分图像；其中，空域微分算子包括Sobel(索贝尔)算子、Roberts(罗伯茨)算子、Canny算子、Prewitt算子(一种空域微分算子)。
在该技术方案中，差分子单元通过采用空域微分算子或频域高通滤波或频域带通滤波对待检测图像进行预处理，经过处理，提取到待检测图像的水平差分图像和垂直差分图像，为后续检测步骤提供基础。
在上述任一技术方案中，优选地，边缘检测单元具体包括：边缘检测子单元，用于根据水平差分图像和垂直差分图像获得水平和垂直边缘图像。
在该技术方案中，对差分图像进行边缘检测，获得差分图像的水平和垂直边缘图像的步骤，具体就是边缘检测子单元根据水平差分图像和垂直差分图像进一步处理，最终获得水平和垂直边缘图像。
在上述任一技术方案中，优选地，若空域微分算子为Sobel算子，则差分子单元具体包括：第一运算单元，用于采用第一预设公式获得水平差分图像和垂直差分图像：
其中，A为待检测图像，Sobel_Gx为检测图像垂直边缘的索贝尔Sobel算子，Sobel_Gy为检测图像水平边缘的索贝尔Sobel算子，Gx为水平差分图像，Gy为垂直差分图像。
在该技术方案中，空域微分算子包括索贝尔Sobel算子、罗伯茨Roberts算子、Canny算子、Prewitt算子，其中，索贝尔Sobel算子应用广泛且算法简单，如果空域微分算子为Sobel算子，则采用索贝尔Sobel算子对待检测图像进行预处理，获取待检测图像的水平差分图像和垂直差分图像的过程，第一运算单元分别采用索贝尔Sobel算子中检测图像垂直边缘的索贝尔Sobel算子和检测图像水平边缘的索贝尔Sobel算子与待检测图像乘积，获得水平差分图像和垂直差分图像。
在上述任一技术方案中，优选地，边缘检测子单元具体包括：第二运算单元，用于采用第二预设公式提取差分图像的垂直边缘和水平边缘：
第三运算单元，用于采用第三预设公式获取水平和垂直边缘图像：
其中，Thigh为第二阈值，Tlow为第三阈值，第二阈值大于第三阈值；P(i,j)为差分图像的任一像素点，Gx(i,j)为P(i,j)的水平差分图像，Gy(i,j)为P(i,j)的垂直差分图像，Edge(i,j)为P(i,j)的水平和垂直边缘图像。
在该技术方案中，根据水平差分图像和垂直差分图像获得水平和垂直边缘图像的过程，第二运算单元通过采用第二预设公式获得图像的垂直边缘点和水平边缘点，以及非水平或非垂直边缘点，第三运算单元再进而根据第三预设公式获取水平和垂直边缘图像，为角点筛选提供基础。
在上述任一技术方案中，优选地，筛选单元具体用于针对所述角点图像中每一个角点，设置以其为中心点的XY方向的坐标轴以及第一预设区域；以预设马赛克图像大小为搜索维度，按照第四预设公式统计在所述坐标轴X轴正方向和X轴负方向统计所述第一预设区域内所述角点的水平边缘点数量，以及在所述坐标轴Y轴正方向和Y轴负方向统计所述第一预设区域内所述角点的垂直边缘点数量：
按照第五预设公式计算角点概率：
按照第六预设公式获得角点概率图像MosaicCorner(i,j)：
MosaicCorner(i,j)＝max{Probm(i',j'),P(i',j')∈Rc}
根据所述角点概率图像MosaicCorner(i,j)获得所述备选角点；设置以任一备选角点为中心的预设矩形，获取所述预设矩形范围内除所述任一备选角点之外的其他备选角点；判断所述任一备选角点是否为所述预设矩形内取值最大的M个备选角点之一；若判断结果为是，则将其确定为所述目标角点；若判断结果为否，则将其确定为所述误报角点，并删除所述误报角点；其中，NP0为坐标轴Y轴正方向的垂直边缘点数目，NP1为坐标轴X轴正方向的水平边缘点数目，NP2为坐标轴Y轴负方向的垂直边缘点数目，NP3为坐标轴X轴负方向的水平边缘点数目，MosaicSize为预设马赛克图像大小，Probm(i',j')为第一预设区域内任一点P(i',j')的角点概率，Tm为第四阈值，Tm≤MosaicSize，M为大于等于1的正整数。
在该技术方案中，对角点图像中所有角点进行筛选，去除误报角点，以获得目标角点的过程，因一个典型的马赛克角点应该连接四条边缘线，两条水平两条垂直，分别用l0，l1，l2和l3表示，这四条线段的长度代表了马赛克块的大小，用MosaicSize表示，对于角点图像Corner中的每一个角点Cor(i,j)，对Cor(i,j)为中心的某一区域Rc内的每一个像素点P(i′,j′)进行如下处理：
以P(i',j')点为起始点，以MosaicSize为搜索维度，沿l0和l2的方向统计垂直边缘点的数目，分别记为NP0和NP2；沿11和l3的方向统计水平边缘点的数目，分别记为NP1和NP3：
计算P(i',j')点的“马赛克角点概率”：
其中Tm为预先设定的阈值且满足Tm≤MosaicSize。马赛克角点概率图像MosaicCorner如下式计算：
MosaicCorner(i,j)＝max{Probm(i',j'),P(i',j')∈Rc}
对于每一个备选马赛克角点MosaicCorner(i,j)，设定以其为中心的一个SxS的区域(满足S≤2MosaicSize-3)，遍历该区域内部全部的备选马赛克角点MosaicCorner(i',j')，如果MosaicCorner(i,j)属于取值最大的M个备选马赛克角点(M为预先设定的参数)，则认为该点是真正的马赛克角点予以保留，否则将其确定为误报角点，并删除误报角点。如此，通过对马赛克角点的筛选降低了误检率，提高了马赛克图像检测的准确度。
在上述任一技术方案中，优选地，还包括：报警单元，用于针对检测到的马赛克图像进行报警。
在该技术方案中，在提取到了全部的马赛克角点且目标角点的数量大于第一阈值，判定待检测图像为马赛克图像之后，报警单元进行报警处理，使得监测部门或人员根据报警信号及时进行处理。报警阈值可以根据实际应用采取不同的方法来确定。
根据本发明的第三个方面，本发明提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：对获取的待检测图像进行预处理，获得待检测图像的差分图像；对差分图像进行角点检测，获得差分图像的角点图像；对差分图像进行边缘检测，获得差分图像的水平和垂直边缘图像；基于水平和垂直边缘图像，对角点图像中所有角点进行筛选，去除误报角点，以获得目标角点；在目标角点的数量大于第一阈值时，判定待检测图像为马赛克图像。
本发明提供的一种计算机设备，处理器执行计算机程序时实现：从正在处理的视频信号的亮度图像中获取待检测图像，对待检测图像进行预处理，获取差分图像，获得的差分图像作为下一检测过程的输入数据；下一检测过程为对差分图像进行角点检测，角点检测的方法可以是Harris Corner Detector(Harris角点检测，一种角点检测算法)，Corner Detector(Corner角点检测，一种角点检测算法)，Trajkovic and Hedley corner detector(Trajkovic and Hedley角点检测，一种角点检测算法)，通过角点检测获得角点图像，对差分图像进行边缘检测，获得水平和垂直边缘图像，其中，对差分图像进行角点检测和边缘检测可以先后进行，也可以并行进行；然后对角点图像中所有角点进行筛选，去除误报角点，获得目标角点(真实角点)；在目标角点的数量大于第一阈值时，判定待检测图像为马赛克图像。本发明能够对不同成因下，包括人为生成的和视频传输过程中故障导致的图像马赛克进行自动检测，实现了视频质量监测中图像马赛克的检测，且在检测过程中去除误报角点，提高了图像马赛克的检测准确性。
根据本发明的第四个方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：对获取的待检测图像进行预处理，获得待检测图像的差分图像；对差分图像进行角点检测，获得差分图像的角点图像；对差分图像进行边缘检测，获得差分图像的水平和垂直边缘图像；基于水平和垂直边缘图像，对角点图像中所有角点进行筛选，去除误报角点，以获得目标角点；在目标角点的数量大于第一阈值时，判定待检测图像为马赛克图像。
本发明提供的一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现：从正在处理的视频信号的亮度图像中获取待检测图像，对待检测图像进行预处理，获取差分图像，获得的差分图像作为下一检测过程的输入数据；下一检测过程为对差分图像进行角点检测，角点检测的方法可以是Harris Corner Detector(Harris角点检测，一种角点检测算法)，Corner Detector(Corner角点检测，一种角点检测算法)，Trajkovic and Hedley corner detector(Trajkovic and Hedley角点检测，一种角点检测算法)，通过角点检测获得角点图像，对差分图像进行边缘检测，获得水平和垂直边缘图像，其中，对差分图像进行角点检测和边缘检测可以先后进行，也可以并行进行；然后对角点图像中所有角点进行筛选，去除误报角点，获得目标角点(真实角点)；在目标角点的数量大于第一阈值时，判定待检测图像为马赛克图像。本发明能够对不同成因下，包括人为生成的和视频传输过程中故障导致的图像马赛克进行自动检测，实现了视频质量监测中图像马赛克的检测，且在检测过程中去除误报角点，提高了图像马赛克的检测准确性。
本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1示出了本发明的一个实施例的图像马赛克检测方法的流程示意图；
图2示出了本发明的另一个实施例的图像马赛克检测方法的流程示意图；
图3示出了本发明的再一个实施例的图像马赛克检测方法的流程示意图；
图4示出了本发明的一个实施例的典型的马赛克角点的示意图；
图5示出了本发明的一个实施例的图像马赛克检测系统的示意框图；
图6示出了本发明的一个具体实施例的IPTV视频质量监测系统的架构示意图；
图7示出了本发明的一个具体实施例的离线视频文件质量监测系统的架构示意图；
图8示出了本发明的一个具体实施例的图像马赛克检测方法的流程示意图；
图9示出了本发明的一个实施例的计算机设备的示意框图。
具体实施方式
为了能够更清楚地理解本发明的上述方面、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不限于下面公开的具体实施例的限制。
本发明第一方面的实施例，提出一种图像马赛克检测方法，图1示出了本发明的一个实施例的图像马赛克检测方法的流程示意图：
步骤102，对获取的待检测图像进行预处理，获得待检测图像的差分图像；
步骤104，对差分图像进行角点检测，获得差分图像的角点图像；
步骤106，对差分图像进行边缘检测，获得差分图像的水平和垂直边缘图像；
步骤108，基于水平和垂直边缘图像，对角点图像中所有角点进行筛选，去除误报角点，以获得目标角点；
步骤110，在目标角点的数量大于第一阈值时，判定待检测图像为马赛克图像。
本发明提供的图像马赛克检测方法，从正在处理的视频信号的亮度图像中获取待检测图像，对待检测图像进行预处理，获取差分图像，获得的差分图像作为下一检测过程的输入数据；下一检测过程为对差分图像进行角点检测，角点检测的方法可以是Harris Corner Detector(Harris角点检测，一种角点检测算法)，Corner Detector(Corner角点检测，一种角点检测算法)，Trajkovic and Hedley corner detector(Trajkovic and Hedley角点检测，一种角点检测算法)，通过角点检测获得角点图像，对差分图像进行边缘检测，获得水平和垂直边缘图像，其中，对差分图像进行角点检测和边缘检测可以先后进行，也可以并行进行；然后对角点图像中所有角点进行筛选，去除误报角点，获得目标角点(真实角点)；在目标角点的数量大于第一阈值时，判定待检测图像为马赛克图像。本发明能够对不同成因下，包括人为生成的和视频传输过程中故障导致的图像马赛克进行自动检测，实现了视频质量监测中图像马赛克的检测，且在检测过程中去除误报角点，提高了图像马赛克的检测准确性。
图2示出了本发明的另一个实施例的图像马赛克检测方法的流程示意图。其中，该方法包括：
步骤202，对待检测视频进行逐帧抽取图像或按照预设周期抽取图像，获得待检测图像；
步骤204，采用空域微分算子或频域高通滤波或频域带通滤波对待检测图像进行预处理，获取待检测图像水平差分图像和垂直差分图像；
步骤206，对差分图像进行角点检测，获得差分图像的角点图像；
步骤208，根据水平差分图像和垂直差分图像获得水平和垂直边缘图像；
步骤210，基于水平和垂直边缘图像，对角点图像中所有角点进行筛选，去除误报角点，以获得目标角点；
步骤212，在目标角点的数量大于第一阈值时，判定待检测图像为马赛克图像；
步骤214，针对检测到的马赛克图像进行报警。
其中，空域微分算子包括Sobel(索贝尔)算子、Roberts(罗伯茨)算子、Canny算子(一种空域微分算子)、Prewitt算子(一种空域微分算子)。
在该实施例中，在对获取的待检测图像进行预处理，获得待检测图像的差分图像之前，根据检测视频的类型，获取待检测图像的方式不同，如对IPTV(交互式网络电视)视频进行质量监测，通过接收IPTV管理平台发送的视音频信号来获取待检测图像，如对离线视频进行质量监测，通过主动读取视频文件来获取待检测图像，具体是对视频进行逐帧抽取图像或按照预设周期抽取图像，或随机抽取图像。
在该实施例中，通过采用空域微分算子或频域高通滤波或频域带通滤波对待检测图像进行预处理，经过处理，提取到待检测图像的水平差分图像和垂直差分图像，为后续检测步骤提供基础。
在该实施例中，对差分图像进行边缘检测，获得差分图像的水平和垂直边缘图像的步骤，具体就是根据水平差分图像和垂直差分图像进一步处理，最终获得水平和垂直边缘图像。
在该实施例中，在提取到了全部的马赛克角点且目标角点的数量大于第一阈值，判定待检测图像为马赛克图像之后，进行报警处理，使得监测部门或人员根据报警信号及时进行处理。报警阈值可以根据实际应用采取不同的方法来确定。
图3示出了本发明的再一个实施例的图像马赛克检测方法的流程示意图。其中，该方法包括：
步骤302，对待检测视频进行逐帧抽取图像或按照预设周期抽取图像，获得待检测图像；
步骤304，采用空域微分算子或频域高通滤波或频域带通滤波对待检测图像进行预处理，获取待检测图像水平差分图像和垂直差分图像；
步骤306，对差分图像进行角点检测，获得差分图像的角点图像；
步骤308，采用第二预设公式提取差分图像的垂直边缘和水平边缘，采用第三预设公式获取水平和垂直边缘图像；
步骤310，针对所述角点图像中每一个角点，设置以其为中心点的XY方向的坐标轴以及第一预设区域，以预设马赛克图像大小为搜索维度，按照第四预设公式统计在所述坐标轴X轴正方向和X轴负方向统计所述第一预设区域内所述角点的水平边缘点数量，以及在所述坐标轴Y轴正方向和Y轴负方向统计所述第一预设区域内所述角点的垂直边缘点数量；
步骤312，按照第五预设公式计算角点概率，按照第六预设公式获得角点概率图像，根据所述角点概率图像获得所述备选角点；
步骤314，设置以任一备选角点为中心的预设矩形，获取预设矩形范围内除任一备选角点之外的其他备选角点；
步骤316，判断任一备选角点是否为预设矩形内取值最大的M个备选角点之一，是，则进入步骤318，否，则进入步骤320；
步骤318，将其确定为目标角点；
步骤320，将其确定为误报角点，并删除误报角点；
步骤322，在目标角点的数量大于第一阈值时，判定待检测图像为马赛克图像，针对检测到的马赛克图像进行报警。
其中，第一预设公式为：
第二预设公式为：
第三预设公式为：
第四预设公式为：
第五预设公式为：
第六预设公式为：
MosaicCorner(i,j)＝max{Probm(i',j'),P(i',j')∈Rc}
A为待检测图像，Sobel_Gx为检测图像垂直边缘的索贝尔Sobel算子，Sobel_Gy为检测图像水平边缘的索贝尔Sobel算子，Gx为水平差分图像，Gy为垂直差分图像；Thigh为第二阈值，Tlow为第三阈值，第二阈值大于第三阈值；P(i,j)为差分图像的任一像素点，Gx(i,j)为P(i,j)的水平差分图像，Gy(i,j)为P(i,j)的垂直差分图像，Edge(i,j)为P(i,j)的水平和垂直边缘图像；NP0为所述坐标轴Y轴正方向的垂直边缘点数目，NP1为所述坐标轴X轴正方向的水平边缘点数目，NP2为所述坐标轴Y轴负方向的垂直边缘点数目，NP3为所述坐标轴X轴负方向的水平边缘点数目，MosaicSize为所述预设马赛克图像大小，Probm(i',j')为所述第一预设区域内任一点P(i',j')的角点概率，Tm为第四阈值，Tm≤MosaicSize，M为大于等于1的正整数。
在该实施例中，空域微分算子包括索贝尔Sobel算子、罗伯茨Roberts算子、Canny算子、Prewitt算子，其中，索贝尔Sobel算子应用广泛且算法简单，如果空域微分算子为Sobel算子，则采用索贝尔Sobel算子对待检测图像进行预处理，获取待检测图像的水平差分图像和垂直差分图像的过程，分别采用索贝尔Sobel算子中检测图像垂直边缘的索贝尔Sobel算子和检测图像水平边缘的索贝尔Sobel算子与待检测图像乘积，获得水平差分图像和垂直差分图像。
在该实施例中，根据水平差分图像和垂直差分图像获得水平和垂直边缘图像的过程，通过采用第二预设公式获得图像的垂直边缘点和水平边缘点，以及非水平或非垂直边缘点，再进而根据第三预设公式获取水平和垂直边缘图像，为角点筛选提供基础。
在该实施例中，对角点图像中所有角点进行筛选，去除误报角点，以获得目标角点的过程，因一个典型的马赛克角点应该连接四条边缘线，如图4所示，两条水平两条垂直，分别用l0，l1，l2和l3表示，这四条线段的长度代表了马赛克块的大小，用MosaicSize表示，对于角点图像Corner中的每一个角点Cor(i,j)，对Cor(i,j)为中心的某一区域Rc内的每一个像素点P(i′,j′)进行如下处理：
以P(i',j')点为起始点，以MosaicSize为搜索维度，沿l0和l2的方向统计垂直边缘点的数目，分别记为NP0和NP2；沿11和l3的方向统计水平边缘点的数目，分别记为NP1和NP3：
计算P(i',j')点的“马赛克角点概率”：
其中Tm为预先设定的阈值且满足Tm≤MosaicSize。马赛克角点概率图像MosaicCorner如下式计算：
MosaicCorner(i,j)＝max{Probm(i',j'),P(i',j')∈Rc}
对于每一个备选马赛克角点MosaicCorner(i,j)，设定以其为中心的一个SxS的区域(满足S≤2MosaicSize-3)，遍历该区域内部全部的备选马赛克角点MosaicCorner(i',j')，如果MosaicCorner(i,j)属于取值最大的M个备选马赛克角点(M为预先设定的参数)，则认为该点是真正的马赛克角点予以保留，否则将其确定为误报角点，并删除误报角点。如此，通过对马赛克角点的筛选降低了误检率，提高了马赛克图像检测的准确度。
本发明第二方面的实施例，提出一种图像马赛克检测系统500，图5示出了本发明的一个实施例的图像马赛克检测系统500的示意框图，如图5所示，图像马赛克检测系统500包括：差分单元50、角点检测单元52、边缘检测单元54、筛选单元56和判定单元58。
本发明提供的图像马赛克检测系统500，从正在处理的视频信号的亮度图像中获取待检测图像，差分单元50对待检测图像进行预处理，获取差分图像，获得的差分图像作为下一检测过程的输入数据；下一检测过程为角点检测单元52对差分图像进行角点检测，角点检测的方法可以是Harris Corner Detector(Harris角点检测，一种角点检测算法)，Corner Detector(Corner角点检测，一种角点检测算法)，Trajkovic and Hedley corner detector(Trajkovic and Hedley角点检测，一种角点检测算法)，边缘检测单元54通过角点检测获得角点图像，对差分图像进行边缘检测，获得水平和垂直边缘图像，其中，对差分图像进行角点检测和边缘检测可以先后进行，也可以并行进行；然后筛选单元56对角点图像中所有角点进行筛选，去除误报角点，获得目标角点(真实角点)；在目标角点的数量大于第一阈值时，判定单元58判定待检测图像为马赛克图像。本发明能够对不同成因下，包括人为生成的和视频传输过程中故障导致的图像马赛克进行自动检测，实现了视频质量监测中图像马赛克的检测，且在检测过程中去除误报角点，提高了图像马赛克的检测准确性。
在上述实施例中，优选地，图像马赛克检测系统500还包括：抽取单元，用于对待检测视频进行逐帧抽取图像或按照预设周期抽取图像，获得待检测图像。
在该实施例中，在对获取的待检测图像进行预处理，获得待检测图像的差分图像之前，根据检测视频的类型，获取待检测图像的方式不同，如对IPTV(交互式网络电视)视频进行质量监测，通过接收IPTV管理平台发送的视音频信号来获取待检测图像，如对离线视频进行质量监测，通过主动读取视频文件来获取待检测图像，具体是抽取单元对视频进行逐帧抽取图像或按照预设周期抽取图像，或随机抽取图像。
在上述实施例中，优选地，差分单元50具体包括：差分子单元，用于采用空域微分算子或频域高通滤波或频域带通滤波对待检测图像进行预处理，获取待检测图像的水平差分图像和垂直差分图像；其中，空域微分算子包括Sobel(索贝尔)算子、Roberts(罗伯茨)算子、Canny算子、Prewitt算子。
在该实施例中，差分子单元通过采用空域微分算子或频域高通滤波或频域带通滤波对待检测图像进行预处理，经过处理，提取到待检测图像的水平差分图像和垂直差分图像，为后续检测步骤提供基础。
在上述实施例中，优选地，边缘检测单元54具体包括：边缘检测子单元，用于根据水平差分图像和垂直差分图像获得水平和垂直边缘图像。
在该实施例中，对差分图像进行边缘检测，获得差分图像的水平和垂直边缘图像的步骤，具体就是边缘检测子单元根据水平差分图像和垂直差分图像进一步处理，最终获得水平和垂直边缘图像。
在上述实施例中，优选地，若空域微分算子为Sobel算子，则差分子单元具体包括：第一运算单元，用于采用第一预设公式获得水平差分图像和垂直差分图像：
其中，A为待检测图像，Sobel_Gx为检测图像垂直边缘的索贝尔Sobel算子，Sobel_Gy为检测图像水平边缘的索贝尔Sobel算子，Gx为水平差分图像，Gy为垂直差分图像。
在该实施例中，空域微分算子包括索贝尔Sobel算子、罗伯茨Roberts算子、Canny算子、Prewitt算子，其中，索贝尔Sobel算子应用广泛且算法简单，如果空域微分算子为Sobel算子，则采用索贝尔Sobel算子对待检测图像进行预处理，获取待检测图像的水平差分图像和垂直差分图像的过程，第一运算单元分别采用索贝尔Sobel算子中检测图像垂直边缘的索贝尔Sobel算子和检测图像水平边缘的索贝尔Sobel算子与待检测图像乘积，获得水平差分图像和垂直差分图像。
在上述实施例中，优选地，边缘检测子单元具体包括：第二运算单元，用于采用第二预设公式提取差分图像的垂直边缘和水平边缘：
采用第三预设公式获取水平和垂直边缘图像：
其中，Thigh为第二阈值，Tlow为第三阈值，第二阈值大于第三阈值；P(i,j)为差分图像的任一像素点，Gx(i,j)为P(i,j)的水平差分图像，Gy(i,j)为P(i,j)的垂直差分图像，Edge(i,j)为P(i,j)的水平和垂直边缘图像。
在该实施例中，根据水平差分图像和垂直差分图像获得水平和垂直边缘图像的过程，第二运算单元通过采用第二预设公式获得图像的垂直边缘点和水平边缘点，以及非水平或非垂直边缘点，第三运算单元再进而根据第三预设公式获取水平和垂直边缘图像，为角点筛选提供基础。
在上述实施例中，优选地，筛选单元56具体用于针对所述角点图像中每一个角点，设置以其为中心点的XY方向的坐标轴以及第一预设区域；以预设马赛克图像大小为搜索维度，按照第四预设公式统计在所述坐标轴X轴正方向和X轴负方向统计所述第一预设区域内所述角点的水平边缘点数量，以及在所述坐标轴Y轴正方向和Y轴负方向统计所述第一预设区域内所述角点的垂直边缘点数量：
按照第五预设公式计算角点概率：
按照第六预设公式获得角点概率图像MosaicCorner(i,j)：
MosaicCorner(i,j)＝max{Probm(i',j'),P(i',j')∈Rc}
根据所述角点概率图像MosaicCorner(i,j)获得所述备选角点；设置以任一备选角点为中心的预设矩形，获取所述预设矩形范围内除所述任一备选角点之外的其他备选角点；判断所述任一备选角点是否为所述预设矩形内取值最大的M个备选角点之一；若判断结果为是，则将其确定为所述目标角点；若判断结果为否，则将其确定为所述误报角点，并删除所述误报角点；其中，NP0为坐标轴Y轴正方向的垂直边缘点数目，NP1为坐标轴X轴正方向的水平边缘点数目，NP2为坐标轴Y轴负方向的垂直边缘点数目，NP3为坐标轴X轴负方向的水平边缘点数目，MosaicSize为预设马赛克图像大小，Probm(i',j')为第一预设区域内任一点P(i',j')的角点概率，Tm为第四阈值，Tm≤MosaicSize，M为大于等于1的正整数。
在该实施例中，对角点图像中所有角点进行筛选，去除误报角点，以获得目标角点的过程，因一个典型的马赛克角点应该连接四条边缘线，两条水平两条垂直，分别用l0，l1，l2和l3表示，这四条线段的长度代表了马赛克块的大小，用MosaicSize表示，对于角点图像Corner中的每一个角点Cor(i,j)，对Cor(i,j)为中心的某一区域Rc内的每一个像素点P(i',j')进行如下处理：
以P(i',j')点为起始点，以MosaicSize为搜索维度，沿l0和l2的方向统计垂直边缘点的数目，分别记为NP0和NP2；沿11和l3的方向统计水平边缘点的数目，分别记为NP1和NP3：
计算P(i',j')点的“马赛克角点概率”：
其中Tm为预先设定的阈值且满足Tm≤MosaicSize。马赛克角点概率图像MosaicCorner如下式计算：
MosaicCorner(i,j)＝max{Probm(i',j'),P(i',j')∈Rc}
对于每一个备选马赛克角点MosaicCorner(i,j)，设定以其为中心的一个SxS的区域(满足S≤2MosaicSize-3)，遍历该区域内部全部的备选马赛克角点MosaicCorner(i',j')，如果MosaicCorner(i,j)属于取值最大的M个备选马赛克角点(M为预先设定的参数)，则认为该点是真正的马赛克角点予以保留，否则将其确定为误报角点，并删除误报角点。如此，通过对马赛克角点的筛选降低了误检率，提高了马赛克图像检测的准确度。
在上述实施例中，优选地，图像马赛克检测系统500还包括：报警单元，用于针对检测到的马赛克图像进行报警。
在该实施例中，在提取到了全部的马赛克角点且目标角点的数量大于第一阈值，判定待检测图像为马赛克图像之后，报警单元进行报警处理，使得监测部门或人员根据报警信号及时进行处理。报警阈值可以根据实际应用采取不同的方法来确定。
图6示出了一个具体实施例的IPTV视频质量监测系统600的架构示意图。如图6所示，IPTV视频质量监测系统600因为IPTV视频质量监测系统考察视频信号在传输、播放环节中产生的故障，所以图像马赛克的特征与视频编码的格式紧密相关。对于目前常见的H.264(一种视频编码标准)、MPEG-2(一种视频编码标准)视频编码标准，图像都是以16x16的分块(称为宏块)作为编码单元，因此如果由于传输丢包或其他原因在解码过程中产生图像马赛克，则此种马赛克的位置一定是以宏块为准的，即图像马赛克的水平和垂直边缘是宏块的边界。因此第二预设公式为：
在提取二值化角点图像Corner的步骤，也对角点的位置进行限定。理想情况下角点的坐标(i,j)均是16的整数倍，考虑到误差的存在，可以进行适当松弛，例如限定i％16＝0,1,or 15；j％16＝0,1,or 15。马赛克块的大小MosaicSize设定为16。报警阈值的设定，可以设定为一个常数；也可以根据视频本身的属性来设定，例如将报警阈值与视频图像的分辨率相关，分辨率越高则报警阈值取值越大。
图7示出了一个具体实施例的离线视频文件质量监测系统700架构示意图。如图7所示，离线视频文件质量监测系统700的整体架构与IPTV视频质量监测系统600相似，主要区别在于：第一，由接收实时视频流改变为读取视频文件；第二，离线视频文件质量监测系统700需要检测的图像马赛克有可能是人工生成，因此检测机制更复杂。具体来说，由于MosaicSize未知，因此需要选取多个MosaicSize进行处理，具体工作流程如图8所示：
步骤802，获取一帧待检测图像数据；
步骤804，提取水平差分图像和垂直差分图像；
步骤806，提取水平和垂直边缘图像Edge；
步骤808，提取图像中角点Corner；
步骤810，根据角点Corner和边缘图像Edge检测马赛克边缘；
步骤812，计算马赛克角点概率图像MosaicCornerM1：选取最大的MosaicSize取值M1；
步骤814，判断MosaicCornerM1的数据是否大于给定阈值，是，则进入步骤816，否，则进入步骤818；
步骤816，报警处理；
步骤818，令Mk＝Mk-1-△M，△M为迭代步长，之后重复步骤812，直到最后一个可选的MosaicSize取值；
步骤820，判断是否为读取全部视频数据，是则结束，否则重复步骤802。
通过上述过程，离线视频文件质量监测系统700实现了对离线文件的质量监测，实现了对不同尺寸马赛克图像、不同成因的马赛克图像的检测。
本发明第三方面的实施例，提出一种计算机设备，图9示出了本发明的一个实施例的计算机设备900的示意框图。其中，该计算机设备900包括：
存储器902、处理器904及存储在存储器902上并可在处理器904上运行的计算机程序，处理器904执行计算机程序时实现以下步骤：对获取的待检测图像进行预处理，获得待检测图像的差分图像；对差分图像进行角点检测，获得差分图像的角点图像；对差分图像进行边缘检测，获得差分图像的水平和垂直边缘图像；基于水平和垂直边缘图像，对角点图像中所有角点进行筛选，去除误报角点，以获得目标角点；在目标角点的数量大于第一阈值时，判定待检测图像为马赛克图像。
本发明提供的一种计算机设备900，处理器904执行计算机程序时实现：从正在处理的视频信号的亮度图像中获取待检测图像，对待检测图像进行预处理，获取差分图像，获得的差分图像作为下一检测过程的输入数据；下一检测过程为对差分图像进行角点检测，角点检测的方法可以是Harris Corner Detector(Harris角点检测，一种角点检测算法)，Corner Detector(Corner角点检测，一种角点检测算法)，Trajkovic and Hedley corner detector(Trajkovic and Hedley角点检测，一种角点检测算法)，通过角点检测获得角点图像，对差分图像进行边缘检测，获得水平和垂直边缘图像，其中，对差分图像进行角点检测和边缘检测可以先后进行，也可以并行进行；然后对角点图像中所有角点进行筛选，去除误报角点，获得目标角点(真实角点)；在目标角点的数量大于第一阈值时，判定待检测图像为马赛克图像。本发明能够对不同成因下，包括人为生成的和视频传输过程中故障导致的图像马赛克进行自动检测，实现了视频质量监测中图像马赛克的检测，且在检测过程中去除误报角点，提高了图像马赛克的检测准确性。
本发明第四方面的实施例，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：对获取的待检测图像进行预处理，获得待检测图像的差分图像；对差分图像进行角点检测，获得差分图像的角点图像；对差分图像进行边缘检测，获得差分图像的水平和垂直边缘图像；基于水平和垂直边缘图像，对角点图像中所有角点进行筛选，去除误报角点，以获得目标角点；在目标角点的数量大于第一阈值时，判定待检测图像为马赛克图像。
本发明提供的一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现：从正在处理的视频信号的亮度图像中获取待检测图像，对待检测图像进行预处理，获取差分图像，获得的差分图像作为下一检测过程的输入数据；下一检测过程为对差分图像进行角点检测，角点检测的方法可以是Harris Corner Detector(Harris角点检测，一种角点检测算法)，Corner Detector(Corner角点检测，一种角点检测算法)，Trajkovic and Hedley corner detector(Trajkovic and Hedley角点检测，一种角点检测算法)，通过角点检测获得角点图像，对差分图像进行边缘检测，获得水平和垂直边缘图像，其中，对差分图像进行角点检测和边缘检测可以先后进行，也可以并行进行；然后对角点图像中所有角点进行筛选，去除误报角点，获得目标角点(真实角点)；在目标角点的数量大于第一阈值时，判定待检测图像为马赛克图像。本发明能够对不同成因下，包括人为生成的和视频传输过程中故障导致的图像马赛克进行自动检测，实现了视频质量监测中图像马赛克的检测，且在检测过程中去除误报角点，提高了图像马赛克的检测准确性。
在本说明书的描述中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。