本发明涉及一种视频背景处理和隐私保护的方法,属于计算机视觉处理技术领域。
背景技术:
抠图是指从图像中把感兴趣的前景从背景中分离出来的一种过程。图像的抠图算法相对于图像分割算法比较复杂,但是精确度却比图像分割算法高。图像由前景、背景经过透明度α融合得到的:
c=αf+(1-α)b
其中,c为融合后的像素值(rgb),f是前景像素值(rgb),b是背景像素值(rgb),α是透明度。c是已知的,但是方程是欠约束的,参数α,f,b都是未知的,仅有一个方程无法求解。因此需要已知的信息才能求解方程,需要用户提供已知信息(前景,背景)。
而在线视频的抠图更为复杂,需要把视频流分解成一帧帧的图片,然后把感兴趣的前景从背景中分离出来。求解时需要提供更多的已知信息,也就对用户产生较差的体验。
目前大部分抠图算法都需要用户提供已知信息(前景、背景),太过依赖于用户交互,不能智能提取需要的信息。同时由于用户提供的信息准确度无法确定,会造成抠图效果不完整。影响处理速度,造成视频不连贯等现象。
技术实现要素:
本发明所要解决的技术问题是提供一种视频背景处理和隐私保护的方法,可以智能的对视频背景进行更换。该方法通过基于hog和线性svm方法的人物检测方法自动提取图像的部分背景和前景信息作为已知信息为了方便下一步的贝叶斯抠图。然后通过贝叶斯抠图算法把人物检测所用矩形框所框选的图像中的人物提取出来。把提取好的人物图与用户提供的背景图使用柏松融合算法进行融合。通过实时检测人物数来保护用户的隐私不被泄漏。
本发明为解决上述技术问题采用以下技术方案:
本发明提供一种视频背景处理和隐私保护的方法,包括以下具体步骤:
步骤1,用户在终端设置具体视频背景图image0;
步骤2,对终端摄像头实时捕获的图像进行人物检测,识别图像中的人物区域并检测记录人物个数person_number;
步骤3,根据贝叶斯抠图算法,对步骤2中的图像进行处理,提取人物图像person_image,并生成掩码图image1;
步骤4,根据柏松融合算法,对步骤1中的视频背景图imag0与步骤3中的人物图像person_image进行融合处理;
步骤5,根据外界环境对用户隐私进行保护,具体为:
步骤5-1,实时记录步骤2中的人物个数person_number;
步骤5-2,当人物个数person_number发生改变时,触发隐私保护;
步骤5-3,将步骤3中的人物图像person_image和泊松融合时的掩码图image1全部置为1;
步骤5-4,将融合后的图像合成视频流信息,输出至屏幕;
步骤5-5,当人物个数person_number等于初始人物数或者用户选择关闭隐私保护时,退出隐私保护。
作为本发明的进一步技术方案,对图像进行人物检测处理并用矩形框框选出图像的人物区域,其中,矩形框外的部分为确定的背景像素,矩形框的中心部分为确定的前景像素。
作为本发明的进一步技术方案,步骤2中采用方向梯度直方图hog算法和线性svm算法对进行人物检测,使用非最大抑制方法用矩形框框选出图像的人物区域。
作为本发明的进一步技术方案,步骤3中将矩形框外的背景像素和矩形框中心部分的前景像素作为已知信息,根据贝叶斯抠图算法对步骤2中的图像进行抠图处理。
作为本发明的进一步技术方案,步骤4中根据柏松融合算法对视频背景图imag0与人物图像person_image进行融合处理,具体包括如下步骤:
步骤4-1,计算步骤3得到的person_image的梯度场gradient1;
步骤4-2,计算步骤1得到的背景图片image0的梯度场gradient2;
步骤4-3,将背景图片image0中对应人物图像person_image区域的梯度场gradient2直接替换为人物图像person_image的梯度场gradient1,得到混合后的梯度场gradient3;
步骤4-4,对混合后的梯度场gradient3求偏导后,得到融合后图像的散度;
步骤4-5,通求解泊松重构方程ax=b,得到融合后的图像,其中,a为稀疏系数矩阵,b为融合后图像的散度,x为融合结果的rgb像素值。
本发明采用以上技术方案与现有技术相比,具有以下技术效果:本发明一种视频背景处理和隐私保护的方法,通过人物检测的方法智能的选取视频的部分背景色与前景色,同时记录人物数进行隐私保护;通过贝叶斯抠图方法,与人物检测方法所得到的部分背景色与前景色大大提高的提高了抠图精确度,不需要用户交互,能全智能的进行抠图;采用泊松融合方法,能进行无缝融合,使效果更加优越。同时,本发明提出的一种用户隐私保护的方法,通过人物检测的方法,实时检测摄像头前的人物数变化进行隐私保护。
附图说明
图1为本发明实施例1提供的对图像进行人物检测的示意图;
图2为本发明实施例2提供的对图像进行贝叶斯抠图的示意图;
图3为本发明实施例3提供的对图像进行泊松融合的示意图;
图4为本发明实施例4提供的对用户隐私保护的流程图;
图5为本发明总体的流程图。
具体实施方式
下面结合附图以及具体实施例对本发明的技术方案做进一步的详细说明:
图5为本发明一种视频背景处理和隐私保护的方法流程图,具体为:
步骤1,用户在终端设置具体视频背景图image0;
步骤2,对终端摄像头实时捕获的图像进行人物检测,识别图像中的人物区域并检测记录人物个数person_number;
步骤3,根据贝叶斯抠图算法,对步骤2中的图像进行处理,提取人物图像person_image,并生成掩码图image1;
步骤4,根据柏松融合算法,对步骤1中的视频背景图imag0与步骤3中的人物图像person_image进行融合处理;
步骤5,根据外界环境对用户隐私进行保护:
步骤5-1,实时记录步骤2中的人物个数person_number;
步骤5-2,当人物个数person_number发生改变时,触发隐私保护;
步骤5-3,将步骤3中的人物图像person_image和泊松融合时的掩码图image1全部置为1;
步骤5-4,将融合后的图像合成视频流信息,输出至屏幕;
步骤5-5,当人物个数person_number等于初始人物数或者用户选择关闭隐私保护时,退出隐私保护。
图1为本发明实施例1提供的一种对视频进行人物检测的方法,该方法主要包括以下步骤:
步骤s101,通过终端摄像头捕获实时图像,并执行步骤s102;
步骤s102,把视频流分解成一帧一帧图像:视频是由一帧一帧图像按照时间序列生成的,可以把其分解成一帧帧图像进行操作,并执行步骤s103;
步骤s103,对图像进行人物检测处理。
人物检测处理:主要基于hog(histogramoforientedgradient)即方向梯度直方图算法和线性svm(supportvectormachine)算法。可以在图像中用矩形框框选出人物的区域,并执行步骤s104;
步骤s104,人物区域的选择:对步骤s103中所生成的矩形框采用最大抑制方法用选出人物区域并记录人物数person_number;其中,矩形框外为确定的背景像素和矩形框中心部分为确定的前景像素作为贝叶斯抠图算法的已知条件;
图2为本发明实施例2提供的贝叶斯抠图方法,该方法基于贝叶斯算法,主要包括以下步骤:
步骤s201,对图像进行人物识别处理;
步骤s202,将矩形框外的背景像素zone1和矩形框中心部分的前景像素zone2作为已知条件信息;
步骤s203,图像像素可以通过以下公式表示:
c=αf+(1-α)b(1)
其中,f表示前景颜色,b表示背景颜色,c表示观察颜色,α表示透明度。当α=0时表示为背景区;当α=1时表示为前景区;当α∈(0,1)时,表示前景与背景交界处,c也就是最后合成的结果。
使用基于贝叶斯算法的抠图方法对图片进行处理求解出每个像素点的f,b和α信息;c是已知的,求解f,b,α,未知参数太多,无法进行求解。
步骤s202中得到部分已知的背景像素和前景像素,但是还有一部分像素点的是f、b、alpha值未知的。通过贝叶斯算法可把问题表示为:
贝叶斯抠图算法为了保证空间的连贯性,以每个位置的像素点的n个领域进行聚类,也就是对这未知的像素点的最近的n个进行相关的高斯建模。因此可以求出n个领域点属于这个高斯模型的概率。
公式(1)求出的参数符合公式(3)
logp(c|f,b,α)=-||c-αf-(1-α)b||2/σc2(3)
使求解得到的参数融合后是:
其中,
通过s202得到的前景区,来计算一个像素点属于前景的概率。构建每个像素点的领域n像素的权重wi=αi2gi,i∈n表示第n个像素点,αi表示第i点的α值。求出前景加权的平均颜色值
前景像素值的高斯概率为:
对于背景像素值采用同样的方法,其中,wi=(1-αi)2gi
对于透明度α,先假设其为恒定的常数,这样公式(2)的最后一项可以省略。可以通过概率最大化方程,求解其偏导数,令其等于0,得到:
其中,i表示像素周围的像素信息是一个3*3的矩阵,通过上式可以求解6*6的线性方程,得到每个像素点的f,b值。根据求解出的f,b,可以知道α的计算公式:
通过固定α的值,求解出公式(8)得到的f,b;接着固定f,b的值,求解出公式(9),得到α的值,循环迭代使公式最大。α的初始值为选择像素领域点的α平均值。
步骤s204,获取得到人物图像person_image并生成掩码图image1。
经过上述实施例1和实施例2的视频流分解、人物识别和贝叶斯抠图过程,最终可以提取得到图像中的人物图像。
图3为本发明实施例3提供的一种背景图与目标图像的融合方法,该方法基于泊松融合算法,具体的执行步骤如下:
s301,用户在终端选择视频背景图image0;
s302,获取经过步骤s204贝叶斯抠图方法提取得到的人物图像person_image;
s303,计算背景图image0的梯度场gradient2;
s304,计算人物图像person_image的梯度场gradient1;
s305,背景图片image0的对应区域的梯度场gradient2直接替换为person_image的梯度场gradient1,得到混合后的梯度场gradient3;
s306,对混合后的梯度场gradient4求偏导得到融合后图像的散度;
s307,泊松重构方程为:ax=b,其中,a为稀疏系数矩阵矩阵,其中心元素为-4,其对应的行有其它4个非零元素;b为图像散度;x为融合结果的像素值(rgb)。
泊松重构方程变换可以得到:x=a-1b,通过求解该方程可以求出融合后的像素值(rgb)。
图4为本发明实施例4提供的根据外界环境对用户隐私进行保护的方法步骤,具体为:
s401,实时记录人物检测得到的person_number_i,i表示第i帧图片;
s402,判断person_number_i是否等于初始人数person_number_0,如果是则转到s403,否则则转到s405;
s403,用泊松融合方法,把背景图即image0与人物图像person_image进行融合,转到s404;
s404,将融合后的图像合成视频流信息,输出到屏幕,结束;
s405,触发隐私保护,把通过贝叶斯抠图方法抠出的人物图像素信息person_image全置为1,转到s406;
s406,把泊松融合时的掩码图image1全置为1,转到s407;
s407,询问用户是否关闭隐私保护,如果关闭意思保护则转到s408;不关闭隐私保护则转到s404;
s408,重新设置初始化人数person_number_0,转到s402。
以上所述,仅为本发明中的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉该技术的人在本发明所揭露的技术范围内,可理解想到的变换或替换,都应涵盖在本发明的包含范围之内,因此,本发明的保护范围应该以权利要求书的保护范围为准。