一种视频图像中静止像素点检测方法及系统与流程

本发明涉及多媒体技术领域，并且更具体地，本发明涉及一种视频图像中静止像素点检测方法及系统。

背景技术：

在高清视频应用领域，目前主要帧率转换与提升方法是先对原始帧做运动估计，根据运动估计结果得到相邻帧间的运动矢量，通过得到的运动矢量进行运动补偿得到插帧结果。常见视频中经常包含一些在连续帧中位置保持静止不变的图形，如一些静止背景、广播logo、电视半透明菜单等。在进行视频帧率提升时，若对这些静止物体不进行特殊检测处理，则包含静止像素点的图像块运动矢量可能被估计为背景运动矢量，如此一来运动补偿时静止像素点会被背景像素点代替，中间插帧中就会出现物体破碎现象。因此为了防止上述现象发生，有必要对视频图像中静止物体进行检测。

技术实现要素：

为了解决现有技术中的上述问题，即为了解决现有技术无法检测出视频图像中静止物体，从而造成视频图像帧率转换中出现物体破碎现象的问题，本发明提出一种视频图像中静止像素点检测方法，该方法包括：

计算相邻帧中待处理像素点对应邻域的特征值；根据特征值，确定表征待处理像素点为静止物体内非边缘像素点的置信度rel1，以及表征待处理像素点为半透明静止物体内像素点的置信度rel2；根据rel1和rel2的值，从特征值中选择相应的值判断待处理像素点是否为静止像素点；当判断待处理像素点为静止像素点时，将待处理像素点对应的计数值加1，当判断待处理像素点不为静止像素点时，将计数值减1；将计数值与设定的阈值T进行比较，若计数值大于T，则确定待处理像素点为静止像素点。

优选地，特征值包括：待处理像素点邻域内的亮度绝对误差和SAD、亮度方差varY、运动矢量均值meanMV、运动矢量方差varMV以及归一化互相关系数NCC。

优选地，根据特征值，确定rel1以及rel2，具体为：当SAD小于设定的阈值且meanMV水平和垂直分量都为0时，确定rel1为1，当SAD不小于设定的阈值或meanMV水平和垂直分量中至少有一个不为0时，确定rel1为0；当NCC值大于设定的阈值时，确定rel2为1，当NCC值不大于设定的阈值时，确定rel2为0。

优选地，根据rel1和rel2的值，从特征值中选择相应的值判断待处理像素点是否为静止像素点，具体为：当rel1和rel2都为0时，若SAD小于设定的阈值，meanMV水平和垂直分量都为0，varY大于设定的阈值，varMV大于设定的阈值,则判断待处理像素点为静止像素点；当rel1为1且rel2为0时，若SAD小于设定的阈值，meanMV水平和垂直分量都为0，varMV大于设定的阈值，则判断待处理像素点为静止像素点；当rel1为0且rel2为1时，若SAD小于设定的阈值，varY大于设定的阈值，varMV大于设定的阈值，则判断待处理像素点为静止像素点；当rel1和rel2都为1时，若SAD小于设定的阈值，varMV大于设定的阈值，则判断待处理像素点为静止像素点。

优选地，该方法还包括：当SAD大于设定的阈值且varMV大于设定的阈值时，确定表征运动物体突然闯入静止背景的情况的置信度rel3为1，当SAD不大于设定的阈值或varMV不大于设定的阈值时，确定rel3为0；当rel3等于1时，将待处理像素点对应的计数值下降至T值以下。

优选地，该方法还包括：若计数值大于设定的上限值，当判断待处理像素点为静止像素点时，保持计数值不变；若计数值小于设定的下限值，当判断待处理像素点不为静止像素点时，保持计数值不变。

优选地，将计数值与T值进行比较，若计数值大于T，则确定待处理像素点为静止像素点的步骤之后，该方法还包括：若待处理像素点为静止像素点，当SAD大于设定的阈值，meanMV小于设定的阈值，且待处理像素点的设定邻域内的静止像素点的个数大于设定的阈值时，将设定邻域内所有的像素点标记为静止像素点。

相应地，本发明还提供一种视频图像中静止像素点检测系统，该系统包括：特征值模块，用于计算相邻帧中待处理像素点对应邻域的特征值；置信度模块，用于根据特征值，确定表征待处理像素点为静止物体内非边缘像素点的置信度rel1，以及表征待处理像素点为半透明静止物体内像素点的置信度rel2；判断模块，用于根据rel1和rel2的值，从特征值中选择相应的值判断待处理像素点是否为静止像素点；计数模块，用于当判断待处理像素点为静止像素点时，将待处理像素点对应的计数值加1，当判断待处理像素点不为静止像素点时，将计数值减1；确定模块，用于将计数值与设定的阈值T进行比较，若计数值大于T，则确定待处理像素点为静止像素点。

优选地，特征值包括：待处理像素点邻域内的亮度绝对误差和SAD、亮度方差varY、运动矢量均值meanMV、运动矢量方差varMV以及归一化互相关系数NCC。

优选地，置信度模块具体用于：当SAD小于设定的阈值且meanMV水平和垂直分量都为0时，确定rel1为1，当SAD不小于设定的阈值或meanMV水平和垂直分量中至少有一个不为0时，确定rel1为0；当NCC值大于设定的阈值时，确定rel2为1，当NCC值不大于设定的阈值时，确定rel2为0。

优选地，判断模块具体用于：当rel1和rel2都为0时，若SAD小于设定的阈值，meanMV水平和垂直分量都为0，varY大于设定的阈值，varMV大于设定的阈值,则判断待处理像素点为静止像素点；当rel1为1且rel2为0时，若SAD小于设定的阈值，meanMV水平和垂直分量都为0，varMV大于设定的阈值，则判断待处理像素点为静止像素点；当rel1为0且rel2为1时，若SAD小于设定的阈值，varY大于设定的阈值，varMV大于设定的阈值，则判断待处理像素点为静止像素点；当rel1和rel2都为1时，若SAD小于设定的阈值，varMV大于设定的阈值，则判断待处理像素点为静止像素点。

优选地，置信度模块还用于：当SAD大于设定的阈值且所述varMV大于设定的阈值时，确定表征运动物体突然闯入静止背景的情况的置信度rel3为1，当SAD不大于设定的阈值或varMV不大于设定的阈值时，确定rel3为0；计数模块还用于：当rel3等于1时，将待处理像素点对应的计数值下降至T值以下。

优选地，计数模块还用于：若计数值大于设定的上限值，当判断待处理像素点为静止像素点时，保持计数值不变；若计数值小于设定的下限值，当判断待处理像素点不为静止像素点时，保持计数值不变。

优选地，该系统还包括：膨胀模块，用于若待处理像素点为静止像素点，当SAD大于设定的阈值，meanMV小于设定的阈值，且待处理像素点的设定邻域内的静止像素点的个数大于设定的阈值时，将设定邻域内所有的像素点标记为静止像素点。

本发明提出了一种视频图像中静止像素点检测方法既系统，通过计算相邻帧中待处理像素点对应邻域的特征值；根据特征值，确定置信度rel1以及置信度rel2；根据rel1和rel2的值，从特征值中选择相应的值判断待处理像素点是否为静止像素；当判断待处理像素点为静止像素点时，将待处理像素点对应的计数值加1，当判断待处理像素点不为静止像素点时，将计数值减1；将计数值与设定的阈值T进行比较，若计数值大于T，则确定待处理像素点为静止像素点。从而可以准确检测出视频图像中的静止像素点，避免视频图像帧率转换中出现物体破碎现象。

附图说明

图1是本发明第一实施例中的视频图像中静止像素点检测方法的流程示意图；

图2是本发明第二实施例中的视频图像中静止像素点检测方法的流程示意图；

图3是本发明第三实施例中的视频图像中静止像素点检测系统的示意图；

图4是本发明第三实施例中的视频图像中静止像素点检测系统的另一示意图。

具体实施方式

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

第一实施例

参阅图1，图1示出了本发明的第一实施例中的视频图像中静止像素点检测方法的流程示意图，具体步骤如下：

S101，计算相邻帧中待处理像素点对应邻域的特征值。

在本实施例中，上述特征值包括：待处理像素点邻域内的归一化互相关系数NCC、用于表征相邻帧像素相似度的亮度绝对误差和SAD、用于表征像素点是否具有边界的亮度方差varY、用于表征像素点是否静止的运动矢量均值meanMV、用于表征像素点运动是否一致的运动矢量方差varMV。

其中亮度SAD的计算公式如式(1)所示，其中，x_i是当前帧curY中以待处理像素点为中心的图像块X内的像素点亮度值，y_i是前一帧preY中以待处理像素点相同位置的像素点为中心的图像块Y内的像素点亮度值。

SAD(X,Y)＝∑_i|x_i-y_i| (1)

运动矢量均值meanMV＝(meanMVx,meanMVy)。meanMVx和meanMVy分别为邻域内运动矢量MV(MotionVector)在水平和垂直方向上的均值。MV通过运动估计得到。运动估计可以采用现有的任意一种运动估计方法，如全搜索、3DSR等方法。运动矢量方差varMV分别在水平和垂直方向上计算，并将两个方向上的方差加在一起作为最终的运动矢量方差。

归一化互相关系数NCC。以待处理像素点为中心，计算公式如式(2)所示，其中u_x和u_y是相邻两帧计算窗口内的亮度均值。

S102，根据特征值，确定置信度rel1以及置信度rel2。

本实施例中，置信度rel1用于表征待处理像素点为静止物体内非边缘像素点，置信度rel2用于表征待处理像素点为半透明静止物体内像素点。而确定置信度rel1以及置信度rel2的具体方法为：

当SAD小于设定的阈值且meanMV水平和垂直分量都为0时，确定rel1为1，当SAD不小于设定的阈值或meanMV水平和垂直分量中至少有一个不为0时，确定rel1为0；当NCC值大于设定的阈值时，确定rel2为1，当NCC值不大于设定的阈值时，确定rel2为0。

S103，根据rel1和rel2的值，从特征值中选择相应的值判断待处理像素点是否为静止像素点。

上述步骤是根据rel1和rel2的值对特征值进行筛选，从中选择相应的特征值来判断待处理像素点是否为静止像素点，具体判断过程分为以下情况：

当rel1和rel2都为0时，依照SAD、meanMV、varY以及varMV进行判断，判断方式为，若SAD小于设定的阈值，meanMV水平和垂直分量都为0，varY大于设定的阈值，varMV大于设定的阈值,则判断待处理像素点为静止像素点。

当rel1为1且rel2为0时，表示待处理像素点可能为静止物体内部非边缘像素点，因此为了正确判断出待处理像素点是否为静止像素点，需要将特征值中的亮度方差varY去掉，以剩余特征值进行判断，判断方式为，若SAD小于设定的阈值，meanMV水平和垂直分量都为0，varMV大于设定的阈值，则判断待处理像素点为静止像素点。

当rel1为0且rel2为1时，表示待处理像素点可能为半透明的像素点，因此为了正确判断出待处理像素点是否为静止像素点，需要将特征值中的运动矢量均值meanMV去掉，以剩余特征值进行判断。这是因为，当静止物体处于半透明状态时，运动估计易发生错误，此时静止物体运动矢量在水平和垂直方向上均值可能不为零，若使用运动矢量为零的判断条件，半透明静止物体会被漏检。但静止物体相邻帧纹理仍然保持相似性很高的特性。判断方式为，若SAD小于设定的阈值，varY大于设定的阈值，varMV大于设定的阈值，则判断待处理像素点为静止像素点。

当rel1和rel2都为1时，将特征值中的亮度方差varY以及运动矢量均值meanMV去掉，以剩余特征值进行判断，判断方式为，若SAD小于设定的阈值，varMV大于设定的阈值，则判断待处理像素点为静止像素点。

S104，当判断待处理像素点为静止像素点时，将待处理像素点对应的计数值加1，当判断待处理像素点不为静止像素点时，将计数值减1。

对于计数值的累加可以是每次加上一个设定的任意常数，本实施例中是加上1，当然可以理解的是本实施例并不限定该累加常数的具体数值，对于计数值的累减道理相同。

S105，将计数值与设定的阈值T进行比较，若计数值大于T，则确定待处理像素点为静止像素点。

由于大面积背景连续很多帧处于静止状态，因此计数值会累加到很高值，若此时突然闯入一运动物体，由于计数值不能及时下降到阈值T以下，因此当前帧运动物体处对应的像素点会被误检为静止点。考虑到这类情况，本实施例中对计数值加上了上下累加范围限制，对计数值的最大值和最小值进行限制。避免上述情况的发生，提高检测的准确性。

本实施例通过计算相邻帧中待处理像素点对应邻域的特征值；根据特征值，确定置信度rel1以及置信度rel2；根据rel1和rel2的值，从特征值中选择相应的值判断待处理像素点是否为静止像素；当判断待处理像素点为静止像素点时，将待处理像素点对应的计数值加1，当判断待处理像素点不为静止像素点时，将计数值减1；将计数值与设定的阈值T进行比较，若计数值大于T，则确定待处理像素点为静止像素点。从而可以准确检测出视频图像中的静止像素点，避免视频图像帧率转换中出现物体破碎现象。

第二实施例

参阅图2，图2示出了本发明的第二实施例中的视频图像中静止像素点检测方法的流程示意图，具体步骤如下：

S201，计算相邻帧中待处理像素点对应邻域的特征值，然后进入步骤S202。

在本实施例中，上述特征值包括：待处理像素点邻域内的归一化互相关系数NCC、用于表征相邻帧像素相似度的亮度绝对误差和SAD、用于表征像素点是否具有边界的亮度方差varY、用于表征像素点是否静止的运动矢量均值meanMV、用于表征像素点运动是否一致的运动矢量方差varMV。

其中亮度SAD的计算公式如式(1)所示，其中，x_i是当前帧curY中以待处理像素点为中心的图像块X内的像素点亮度值，y_i是前一帧preY中以待处理像素点相同位置的像素点为中心的图像块Y内的像素点亮度值。

SAD(X,Y)＝∑_i|x_i-y_i|(1)

运动矢量均值meanMV＝(meanMVx,meanMVy)。meanMVx和meanMVy分别为邻域内运动矢量MV(MotionVector)在水平和垂直方向上的均值。MV通过运动估计得到。运动估计可以采用现有的任意一种运动估计方法，如全搜索、3DSR等方法。运动矢量方差varMV分别在水平和垂直方向上计算，并将两个方向上的方差加在一起作为最终的运动矢量方差。

归一化互相关系数NCC。以待处理像素为中心，计算公式如式(2)所示，其中u_x和u_y是相邻两帧计算窗口内的亮度均值。

S202，根据特征值，确定置信度rel1、置信度rel2以及置信度rel3，然后进入S203。

本实施例中，置信度rel1用于表征待处理像素点为静止物体内非边缘像素点，置信度rel2用于表征待处理像素点为半透明静止物体内像素点，置信度rel3为表征运动物体突然闯入静止背景的情况的置信度。而确定置信度rel1、置信度rel2以及置信度rel3的具体方法为：

当SAD小于设定的阈值且meanMV水平和垂直分量都为0时，确定rel1为1，当SAD不小于设定的阈值或meanMV水平和垂直分量中至少有一个不为0时，确定rel1为0；当NCC值大于设定的阈值时，确定rel2为1，当NCC值不大于设定的阈值时，确定rel2为0。当SAD大于设定的阈值且所述varMV大于设定的阈值时，确定置信度rel3为1，当SAD不大于设定的阈值或varMV不大于设定的阈值时，确定rel3为0。

S203，根据rel1和rel2的值，从特征值中选择相应的值判断待处理像素点是否为静止像素点，然后进入S204。

上述步骤是根据rel1和rel2的值对特征值进行筛选，从中选择相应的特征值来判断待处理像素点是否为静止像素点，具体判断过程分为以下情况：

当rel1和rel2都为0时，依照SAD、meanMV、varY以及varMV进行判断，判断方式为，若SAD小于设定的阈值，meanMV水平和垂直分量都为0，varY大于设定的阈值，varMV大于设定的阈值,则判断待处理像素点为静止像素点。

当rel1为1且rel2为0时，表示待处理像素点可能为静止物体内部非边缘像素点，因此为了正确判断出待处理像素点是否为静止像素点，需要将特征值中的亮度方差varY去掉，以剩余特征值进行判断，判断方式为，若SAD小于设定的阈值，meanMV水平和垂直分量都为0，varMV大于设定的阈值，则判断待处理像素点为静止像素点。

当rel1为0且rel2为1时，表示待处理像素点可能为半透明的像素点，因此为了正确判断出待处理像素点是否为静止像素点，需要将特征值中的运动矢量均值meanMV去掉，以剩余特征值进行判断。这是因为，当静止物体处于半透明状态时，运动估计易发生错误，此时静止物体运动矢量在水平和垂直方向上均值可能不为零，若使用运动矢量为零的判断条件，半透明静止物体会被漏检。但静止物体相邻帧纹理仍然保持相似性很高的特性。判断方式为，若SAD小于设定的阈值，varY大于设定的阈值，varMV大于设定的阈值，则判断待处理像素点为静止像素点。

当rel1和rel2都为1时，将特征值中的亮度方差varY以及运动矢量均值meanMV去掉，以剩余特征值进行判断，判断方式为，若SAD小于设定的阈值，varMV大于设定的阈值，则判断待处理像素点为静止像素点。

S204，判断rel3是否为1，若rel3为1，则进入S205，若rel3不为1，则进入S206。

S205，将待处理像素点对应的计数值下降至T值以下，然后进入S209。

由于大面积背景连续很多帧处于静止状态，因此计数值会累加到很高值，若此时突然闯入一运动物体，由于计数值不能及时下降到阈值T以下，因此当前帧运动物体处对应的像素点会被误检为静止点。考虑到这类情况，本实施例中计数值会根据rel3的值变化，当rel3的值为1时，表示运动物体突然闯入，此时计数值直接下降到T值以下，从而有效避免误检情况的发生，T值为一预设值，当计数值大于T值时，确定待处理像素点为静止像素点，计数值小于T值时，确定待处理像素点为非静止像素点。

S206，判断待处理像素点对应的计数值是否在预设区间内，若计数值在预设区间内，则进入S208，若计数值不在预设区间内，则进入S207。

S207，当判断待处理像素点为静止像素点时，保持计数值不变；当判断待处理像素点不为静止像素点时，保持计数值不变，然后进入S209。

上述步骤是对计数值加上了上下累加范围限制，对计数值的最大值和最小值进行限制，从而进一步避免由于大面积背景连续很多帧处于静止状态，导致计数值累加到很高值。

S208，当判断待处理像素点为静止像素点时，将计数值加1，当判断待处理像素点不为静止像素点时，将计数值减1，然后进入S209。

S209，将计数值与设定的阈值T进行比较，若计数值大于T，则确定待处理像素点为静止像素点，然后进入S210。

S210，将待处理像素点设定邻域内所有的像素点标记为静止像素点。

本实施例中，当待处理像素点为静止像素点时，若SAD大于设定的阈值，meanMV小于设定的阈值，且待处理像素点的设定邻域内的静止像素点的个数大于设定的阈值时，则将待处理像素点设定邻域内所有的像素点标记为静止像素点。

本实施例通过计算相邻帧中待处理像素点对应邻域的特征值；根据特征值，确定置信度rel1、置信度rel2以及rel3；根据rel1和rel2的值，从特征值中选择相应的值判断待处理像素点是否为静止像素；并根据判断结果以及rel3确定待处理像素点对应的计数值；最后将计数值与设定的阈值T进行比较，若计数值大于T，则确定待处理像素点为静止像素点。从而可以准确检测出视频图像中的静止像素点，避免视频图像帧率转换中出现物体破碎现象。

第三实施例

参阅图3，图3示出了本发明的第三实施例中的视频图像中静止像素点检测系统的示意图，该系统包括：

特征值模块301，用于计算相邻帧中待处理像素点对应邻域的特征值。

置信度模块302，用于根据特征值，确定置信度rel1、置信度rel2以及置信度rel3。

判断模块303，用于根据rel1和rel2的值，从特征值中选择相应的值判断待处理像素点是否为静止像素点。

计数模块304，用于当判断待处理像素点为静止像素点时，将待处理像素点对应的计数值加1，当判断待处理像素点不为静止像素点时，将计数值减1。

确定模块305，用于将计数值与设定的阈值T进行比较，若计数值大于T，则确定待处理像素点为静止像素点。

进一步地，请参阅图4，该系统还包括：膨胀模块306，用于若待处理像素点为静止像素点，当SAD大于设定的阈值，meanMV小于设定的阈值，且待处理像素点的设定邻域内的静止像素点的个数大于设定的阈值时，将设定邻域内所有的像素点标记为静止像素点。

本实施例通过计算相邻帧中待处理像素点对应邻域的特征值；根据特征值，确定置信度rel1、置信度rel2以及rel3；根据rel1和rel2的值，从特征值中选择相应的值判断待处理像素点是否为静止像素；并根据判断结果以及rel3确定待处理像素点对应的计数值；最后将计数值与设定的阈值T进行比较，若计数值大于T，则确定待处理像素点为静止像素点。从而可以准确检测出视频图像中的静止像素点，避免视频图像帧率转换中出现物体破碎现象。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。