三维视频滤波方法和装置制造方法
【专利摘要】本发明实施例提供一种三维视频滤波方法和装置。本发明三维视频滤波方法，包括：将图像平面中的像素投影到三维空间；根据待滤波像素和参考像素在所述三维空间的坐标值，计算待滤波像素和参考像素在所述三维空间内的空间邻近性；根据待滤波像素和参考像素的纹理像素值，计算待滤波像素和参考像素的纹理像素值相似性；根据待滤波像素、参考像素和前一帧图像中相同位置的像素的纹理像素值，计算待滤波像素和参考像素的运动特征一致性；根据空间邻近性、纹理像素值相似性和运动特征一致性确定滤波的权值，分别对参考像素集合内的参考像素的像素值进行加权平均获得待滤波像素的滤波结果。本发明实施例提高了三维视频的滤波的准确性。
【专利说明】三维视频滤波方法和装置
【技术领域】
[0001 ] 本发明实施例涉及图像处理技术，尤其涉及一种三维视频滤波方法和装置。
【背景技术】
[0002]随着视觉多媒体技术的不断发展，三维视频以其独特景深效果逐步走进人们的生活，并应用于教育、军事、娱乐及医疗等多个领域。目前的三维视频根据视频内容主要分为两类:纯彩色三维视频和基于深度的三维视频。纯彩色三维视频将多路彩色视频直接呈现给用户，其视点位置和视差固定，给人们的观看带来了一定的局限性。相比于纯彩色三维视频，由于深度图的引入，基于深度的三维视频能够通过基于深度图像的绘制技术合成任意视点的虚拟图像，人们可以根据个人喜好选择视点和调节视差，进而更好的享受三维视频带来的乐趣。这一自由灵活的特点使基于深度的三维视频成为目前被广泛接受的三维视频格式。
[0003]基于深度的三维视频内容由纹理图序列和深度图序列组成，纹理图直观的呈现了物体表面的纹理特征，深度图反映了物体与相机之间的距离。利用上述视频内容和基于深度图像的绘制技术可以合成指定的虚拟视点纹理图像。然而，深度图和纹理图在获取、编码和传输等过程中会引入大量噪声。在视点合成阶段，深度图和纹理图中的噪声会分别引起合成图像的几何失真和纹理失真，进而严重影响人们的视觉体验。而滤波技术可以有效的去除这些噪声，有效提升三维视频质量。
[0004]现有技术中，针对纹理图的去噪方法主要是双边滤波器，利用待滤波像素周围像素作为参考，并对其进行加权平均的方法，得到滤波结果。在权值计算的过程中主要参考了图像中像素位置邻近性和像素值的相似性。该滤波方法认为:两个像素点在图像平面的距离越接近，相关性越强；两个像素点的像素值越相似，相关性越强。
[0005]图1为现有技术的双边滤波器的计算邻近性的示意图。现有技术的问题是，由于图像中的像素点是真实三维空间中的点在二维图像平面的再现，然而双边滤波器在考虑像素点邻近性时并没有从真实三维场景出发，其计算结果并不准确，如图1所示，其中A’、B’、C’为真实场景中的三个点，经过相机采集其在图像平面中的位置为A、B、C，A与C在平面上的距离与B与C在平面上的距离相等。如果对C进行滤波，A、B为参考像素。根据图1中所示，可以明显看出，在三维空间中，B与C的邻近性更强，而双边滤波器则认为A与C和B与C的邻近性一致，因此滤波结果准确性不高。
【发明内容】
[0006]本发明实施例提供一种三维视频滤波方法和装置，以克服现有技术中滤波结果准确性不高的问题。
[0007]第一方面，本发明实施例提供一种三维视频滤波方法，包括:
[0008]将图像平面中的像素投影到三维空间；所述像素包括待滤波像素和参考像素集合；[0009]根据所述待滤波像素和所述参考像素集合内的参考像素在所述三维空间的坐标值，计算所述待滤波像素和所述参考像素在所述三维空间内的空间邻近性；其中，所述参考像素集合与所述待滤波像素在同一帧图像中；
[0010]根据所述待滤波像素和所述参考像素集合内的参考像素的纹理像素值，计算所述待滤波像素和所述参考像素的纹理像素值相似性；
[0011]根据所述待滤波像素、所述参考像素集合内的参考像素和所述待滤波像素所在帧的前一帧图像中相同位置的像素的纹理像素值，计算所述待滤波像素和所述参考像素的运动特征一致性；
[0012]根据所述空间邻近性、纹理像素值相似性和运动特征一致性确定滤波的权值，分别对所述参考像素集合内的参考像素的像素值进行加权平均获得所述待滤波像素的滤波结果。
[0013]结合第一方面，在第一方面的第一种实现方式中，对深度图像滤波时，根据所述空间邻近性、所述深度像素对应的纹理像素值相似性和所述运动特征一致性确定滤波的权值，分别对所述参考像素集合内的参考像素的深度像素值进行加权平均，获得所述深度图像待滤波像素的深度像素值的滤波结果；或，
[0014]对纹理图像滤波时，根据所述空间邻近性、所述纹理像素相似性和所述运动特征一致性确定滤波的权值，分别对所述参考像素集合内的参考像素的纹理像素值进行加权平均，获得所述纹理图像待滤波像素的纹理像素值的滤波结果。
[0015]结合第一方面、或第一方面的第一种实现方式，在第一方面的第二种实现方式中，所述将图像平面中的像素投影到三维空间，包括:
[0016]利用三维视频提供的深度图像信息、视点位置信息和参考相机参数信息，将所述像素从图像平面投影到三维空间；所述深度图像信息包括所述像素的深度像素值。
[0017]结合第一方面的第二种实现方式，在第一方面的第三种实现方式中，所述利用三维视频提供的深度图像信息、视点位置信息和参考相机参数信息，将像素从图像平面投影到三维空间，包括:
[0018]根据公式P = IT1 (dA^p-t)计算所述像素投影到三维空间后的坐标值；
[0019]其中，R和t为参考相机的旋转矩阵和平移矢量，A为参考相机参数矩阵，
【权利要求】
1.一种三维视频滤波方法，其特征在于，包括: 将图像平面中的像素投影到三维空间；所述像素包括待滤波像素和参考像素集合； 根据所述待滤波像素和所述参考像素集合内的参考像素在所述三维空间的坐标值，计算所述待滤波像素和所述参考像素在所述三维空间内的空间邻近性；其中，所述参考像素集合与所述待滤波像素在同一帧图像中； 根据所述待滤波像素和所述参考像素集合内的参考像素的纹理像素值，计算所述待滤波像素和所述参考像素的纹理像素值相似性； 根据所述待滤波像素、所述参考像素集合内的参考像素和所述待滤波像素所在帧的前一帧图像中相同位置的像素的纹理像素值，计算所述待滤波像素和所述参考像素的运动特征一致性； 根据所述空间邻近性、纹理像素值相似性和运动特征一致性确定滤波的权值，分别对所述参考像素集合内的参考像素的像素值进行加权平均获得所述待滤波像素的滤波结果。
2.根据权利要求1所述的方法，其特征在于，对深度图像滤波时，根据所述空间邻近性、所述深度像素对应的纹理像素值相似性和所述运动特征一致性确定滤波的权值，分别对所述参考像素集合内的参考像素的深度像素值进行加权平均，获得所述深度图像待滤波像素的深度像素值的滤波结果；或， 对纹理图像滤波时，根据所述空间邻近性、所述纹理像素相似性和所述运动特征一致性确定滤波的权值，分别对所述参考像素集合内的参考像素的纹理像素值进行加权平均，获得所述纹理图像待滤波像素的纹理像素值的滤波结果。
3.根据权利要求1或2所述的方法，其特征在于，所述将图像平面中的像素投影到三维空间，包括: 利用三维视频提供的深度图像信息、视点位置信息和参考相机参数信息，将所述像素从图像平面投影到三维空间；所述深度图像信息包括所述像素的深度像素值。
4.根据权利要求3所述的方法，其特征在于，所述利用三维视频提供的深度图像信息、视点位置信息和参考相机参数信息，将所述像素从图像平面投影到三维空间，包括: 根据公式P = R—HdA-1p-t)计算所述像素投影到三维空间后的坐标值； 其中，R和t为参考相机的旋转矩阵和平移矢量，A为参考相机参数矩阵，,L r ο χλ〔X、Λ= O f 0y , p= v为所述像素在所述图像平面中的坐标值，尸=7为所述 V0 0 1J [lj像素在所述三维空间中的坐标值，d为所述像素的深度像素值；fx和fy分别为水平和竖直方向的归一化焦距，r为径向畸变系数，(ox, oy)为所述图像平面上的基准点的坐标值；所述基准点为所述参考相机的光轴和所述图像平面的交点。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述空间邻近性通过三维空间中所述待滤波像素和所述参考像素的距离作为函数的输入值计算得到；所述函数的输出值随着输入值的减小而增大； 所述纹理像素值相似性通过所述待滤波像素和所述参考像素的纹理像素值的差值作为函数的输入值计算得到；所述函数的输出值随着输入值的减小而增大；所述运动特征一致性通过计算所述待滤波像素和所述参考像素的运动特征是否一致得到，包括: 当所述待滤波像素与前一帧中对应位置的像素的纹理像素值的差值，以及所述参考像素与前一帧中对应位置的像素的纹理像素值的差值，同时大于或小于预设的阈值时确定为所述待滤波像素和所述参考像素的运动状态一致；否则确定为所述待滤波像素和所述参考像素的运动状态不一致。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述根据所述空间邻近性、纹理像素值相似性和运动特征一致性确定滤波的权值，分别对所述参考像素集合内的参考像素的像素值进行加权平均获得所述待滤波像素的滤波结果，包括: 根据公式(I)
7.—种三维视频滤波方法，其特征在于，包括: 将图像平面中的像素投影到三维空间；所述像素包括待滤波像素和参考像素集合；根据所述待滤波像素和所述参考像素集合内的参考像素在所述三维空间的坐标值，计算所述待滤波像素和所述参考像素在所述三维空间内的空间邻近性；其中，所述参考像素集合在与所述待滤波像素所在同一帧图像和相邻多帧图像中； 根据所述待滤波像素和所述参考像素集合内的参考像素的纹理像素值，计算所述待滤波像素和所述参考像素的纹理像素值相似性；根据所述待滤波像素和所述参考像素集合内的参考像素所在帧的时间间隔，计算所述待滤波像素和所述参考像素的时域邻近性； 根据所述空间邻近性、纹理像素值相似性和时域邻近性确定滤波的权值，分别对所述参考像素集合内的参考像素的像素值进行加权平均获得所述待滤波像素的滤波结果。
8.根据权利要求7所述的方法，其特征在于，对深度图像滤波时，根据所述空间邻近性、所述深度像素对应的纹理像素值相似性和所述时域邻近性确定滤波的权值，分别对所述参考像素集合内的参考像素的深度像素值进行加权平均，获得所述深度图像待滤波像素的深度像素值的滤波结果；或， 对纹理图像滤波时，根据所述空间邻近性、所述纹理像素相似性和所述时域邻近性确定滤波的权值，分别对所述参考像素集合内的参考像素的纹理像素值进行加权平均，获得所述纹理图像待滤波像素的纹理像素值的滤波结果。
9.根据权利要求7或8所述的方法，其特征在于，所述将图像平面中的像素投影到三维空间，包括: 利用三维视频提供的深度图像信息、视点位置信息和参考相机参数信息，将所述像素从图像平面投影到三维空间；所述深度图像信息包括所述像素的深度像素值。
10.根据权利要求9所述的方法，其特征在于，所述利用三维视频提供的深度图像信息、视点位置信息和参考相机参数信息，将所述像素从图像平面投影到三维空间，包括: 根据公式P = R—HdA-1p-t)计算所述像素投影到三维空间后的坐标值； 其中，R和t为参考相机的旋转矩阵和平移矢量，A为参考相机参数矩阵，
11.根据权利要求7-10任一项所述的方法，其特征在于，所述空间邻近性通过三维空间中所述待滤波像素和所述参考像素的距离作为函数的输入值计算得到；所述函数的输出值随着输入值的减小而增大； 所述纹理像素值相似性通过所述待滤波像素和所述参考像素的纹理像素值的差值作为函数的输入值计算得到；所述函数的输出值随着输入值的减小而增大； 所述时域邻近性通过所述待滤波像素和所述参考像素所在帧的时间间隔作为函数的输入值计算得到；所述函数的输出值随着输入值的减小而增大。
12.根据权利要求7-11任一项所述的方法，其特征在于，所述根据所述空间邻近性、纹理像素值相似性和时域邻近性确定滤波的权值，分别对所述参考像素集合内的参考像素的像素值进行加权平均获得所述待滤波像素的滤波结果，包括:根据公式(3)
13.—种三维视频滤波装置，其特征在于，包括: 投影模块，用于将图像平面中的像素投影到三维空间；所述像素包括待滤波像素和参考像素集合； 计算模块，用于根据所述待滤波像素和所述参考像素集合内的参考像素在所述三维空间的坐标值，计算所述待滤波像素和所述参考像素在所述三维空间内的空间邻近性；其中，所述参考像素集合与所述待滤波像素在同一帧图像中； 所述计算模块，还用于根据所述待滤波像素和所述参考像素集合内的参考像素的纹理像素值，计算所述待滤波像素和所述参考像素的纹理像素值相似性； 所述计算模块，还用于根据所述待滤波像素、所述参考像素集合内的参考像素和所述待滤波像素所在帧的前一帧图像中相同位置的像素的纹理像素值，计算所述待滤波像素和所述参考像素的运动特征一致性； 滤波模块，用于根据所述空间邻近性、纹理像素值相似性和运动特征一致性确定滤波的权值，分别对所述参考像素集合内的参考像素的像素值进行加权平均获得所述待滤波像素的滤波结果。
14.根据权利要求13所述的装置，其特征在于，所述滤波模块，具体用于: 对深度图像滤波时，根据所述空间邻近性、所述深度像素对应的纹理像素值相似性和所述运动特征一致性确定滤波的权值，分别对所述参考像素集合内的参考像素的深度像素值进行加权平均，获得所述深度图像待滤波像素的深度像素值的滤波结果；或， 对纹理图像滤波时，根据所述空间邻近性、所述纹理像素相似性和所述运动特征一致性确定滤波的权值，分别对所述参考像素集合内的参考像素的纹理像素值进行加权平均，获得所述纹理图像待滤波像素的纹理像素值的滤波结果。
15.根据权利要求13或14所述的装置，其特征在于，所述投影模块，具体用于: 利用三维视频提供的深度图像信息、视点位置信息和参考相机参数信息，将所述像素从图像平面投影到三维空间；所述深度图像信息包括所述像素的深度像素值。
16.根据权利要求15所述的装置，其特征在于，所述投影模块，具体用于: 根据公式P = R—HdA-1p-t)计算所述像素投影到三维空间后的坐标值； 其中，R和t为参考相机的旋转矩阵和平移矢量，A为参考相机参数矩阵，
17.根据权利要求13-16任一项所述的装置，其特征在于，所述空间邻近性通过三维空间中所述待滤波像素和所述参考像素的距离作为函数的输入值计算得到；所述函数的输出值随着输入值的减小而增大； 所述纹理像素值相似性通过所述待滤波像素和所述参考像素的纹理像素值的差值作为函数的输入值计算得到；所述函数的输出值随着输入值的减小而增大； 所述运动特征一致性通过计算所述待滤波像素和所述参考像素的运动特征是否一致得到，包括: 当所述待滤波像素与前一帧中对应位置的像素的纹理像素值的差值，以及所述参考像素与前一帧中对应位置的像素的纹理像素值的差值，同时大于或小于预设的阈值时确定为所述待滤波像素和所述参考像素的运动状态一致；否则确定为所述待滤波像素和所述参考像素的运动状态不一致。
18.根据权利要求13-17任一项所述的装置，其特征在于，所述滤波模块，具体用于: 棚城(I):
19.一种三维视频滤波装置，其特征在于，包括: 投影模块，用于将图像平面中的像素投影到三维空间；所述像素包括待滤波像素和参考像素集合； 计算模块，用于根据所述待滤波像素和所述参考像素集合内的参考像素在所述三维空间的坐标值，计算所述待滤波像素和所述参考像素在所述三维空间内的空间邻近性；其中，所述参考像素集合在与所述待滤波像素所在同一帧图像和相邻多帧图像中； 所述计算模块，还用于根据所述待滤波像素和所述参考像素集合内的参考像素的纹理像素值，计算所述待滤波像素和所述参考像素的纹理像素值相似性； 所述计算模块，还用于根据所述待滤波像素和所述参考像素集合内的参考像素所在帧的时间间隔，计算所述待滤波像素和所述参考像素的时域邻近性； 滤波模块，用于根据所述空间邻近性、纹理像素值相似性和时域邻近性确定滤波的权值，分别对所述参考像素集合内的参考像素的像素值进行加权平均获得所述待滤波像素的滤波结果。
20.根据权利要求19所述的装置，其特征在于，所述滤波模块，具体用于: 对深度图像滤波时，根据所述空间邻近性、所述深度像素对应的纹理像素值相似性和所述时域邻近性确定滤波的权值，分别对所述参考像素集合内的参考像素的深度像素值进行加权平均，获得所述深度图像待滤波像素的深度像素值的滤波结果；或， 对纹理图像滤波时，根据所述空间邻近性、所述纹理像素相似性和所述时域邻近性确定滤波的权值，分别对所述参考像素集合内的参考像素的纹理像素值进行加权平均，获得所述纹理图像待滤波像素的纹理像素值的滤波结果。
21.根据权利要求19或20所述的装置，其特征在于，所述投影模块，具体用于:利用三维视频提供的深度图像信息、视点位置信息和参考相机参数信息，将所述像素从图像平面投影到三维空间；所述深度图像信息包括所述像素的深度像素值。
22.根据权利要求21所述的装置，其特征在于，所述投影模块，具体用于: 根据公式P = R—HdA-1p-t)计算所述像素投影到三维空间后的坐标值； 其中，R和t为参考相机的旋转矩阵和平移矢量，A为参考相机参数矩阵，
23.根据权利要求19-22任一项所述的装置，其特征在于，所述空间邻近性通过三维空间中所述待滤波像素和所述参考像素的距离作为函数的输入值计算得到；所述函数的输出值随着输入值的减小而增大； 所述纹理像素值相似性通过所述待滤波像素和所述参考像素的纹理像素值的差值作为函数的输入值计算得到；所述函数的输出值随着输入值的减小而增大； 所述时域邻近性通过所述待滤波像素和所述参考像素所在帧的时间间隔作为函数的输入值计算得到；所述函数的输出值随着输入值的减小而增大。
24.根据权利要求19-23任一项所述的装置，其特征在于，所述滤波模块，具体用于: 根据公式(3):
【文档编号】H04N13/00GK104010180SQ201410265360
【公开日】2014年8月27日 申请日期:2014年6月13日 优先权日:2014年6月13日
【发明者】朱策, 王昕 , 郑建铧, 张玉花 申请人:华为技术有限公司