一种图像处理方法及设备的制作方法
【专利摘要】本发明实施例公开了一种图像处理方法和设备。其中，所述方法包括：采集物体的视频图像和深度图像；利用所述深度图像对同一时刻的所述视频图像对应的视频图像帧进行分割，得到所述视频图像帧中前景图像的轮廓；根据所述前景图像的轮廓，对所述视频图像帧中所述前景图像的轮廓以内的视频图像像素点进行第一编码，对所述视频图像帧中所述轮廓以外的视频图像像素点进行第二编码，获得所述视频图像帧对应的编码数据，其中，所述第一编码的编码速率高于所述第二编码的编码速率；输出所述视频图像帧对应的编码数据以及所述前景图像的轮廓对应的深度数据。通过本发明实施例，使得可以降低视频图像传输过程中的网络带宽占用率。
【专利说明】一种图像处理方法及设备
【技术领域】
[0001]本发明涉及图像数据处理【技术领域】，特别是涉及一种图像处理方法及设备。
【背景技术】
[0002]浸入式会议系统是下一代多媒体会议系统的典型，它能够提供更加逼真，身临其境的用户体验。其通常会应用诸如:高清音/视频、立体声、30视频、增强现实等新技术来让用户在参加会议时能够有一种浸入式的体验。
[0003]通常，浸入式会议系统中包含两种摄像头，一种是传统的彩色摄像头，可以捕获用户的彩色图像；还有一种是深度摄像头，可以捕获用户与摄像头的距离的深度图像。深度信息摄像头捕获的深度信息为后续30图像的合成、骨骼识别和追踪等技术都有很大的帮助。
[0004]现有的浸入式会议系统中，进行会议系统的视频图像合成时，网络带宽的占用率较闻。
【发明内容】
[0005]本发明实施例中提供了一种图像处理方法及设备，实现视频图像中不同用户关注度的图像的分割，并对分割图像采用不同的编码方式，使得可以降低视频图像传输过程中的网络带宽占用率。
[0006]为了解决上述技术问题，本发明实施例公开了如下技术方案:
[0007]第一方面，提供一种图像处理方法，包括:
[0008]采集物体的视频图像和深度图像；
[0009]利用所述深度图像对同一时刻的所述视频图像对应的视频图像帧进行分割，得到所述视频图像帧中前景图像的轮廓；
[0010]根据所述前景图像的轮廓，对所述视频图像帧中所述前景图像的轮廓以内的视频图像像素点进行第一编码，对所述视频图像帧中所述轮廓以外的视频图像像素点进行第二编码，获得所述视频图像帧对应的编码数据，其中，所述第一编码的编码速率高于所述第二编码的编码速率；
[0011]输出所述视频图像帧对应的编码数据以及所述前景图像的轮廓对应的深度数据。
[0012]结合上述第一方面，在第一种可能的实现方式中，所述利用所述深度图像对同一时刻的所述视频图像对应的视频图像帧进行分割，得到所述视频图像帧中前景图像的轮廓，包括:
[0013]将所述视频图像帧的深度图像与视频图像进行像素对齐；
[0014]计算所述深度图像上每个像素点与各个相邻像素点的深度差值，确定像素点中与所有所述相邻像素点的深度差值的方差大于预设阈值的像素点为分割点；
[0015]遍历所述深度图像上全部像素点，确定出所有分割点；
[0016]根据所述所有分割点，得出所述视频图像中前景图像的轮廓。
[0017]结合上述第一方面，在第二种可能的实现方式中，所述输出所述轮廓对应的深度数据，包括:
[0018]根据所述轮廓，将所述深度图像简化为二值图像；
[0019]将所述二值图像进行编码处理，输出所述二值图像对应的编码数据。
[0020]结合上述第一方面，和第一种可能的实现方式，在第三种可能的实现方式中，所述输出所述前景图像的轮廓对应的深度数据，包括:
[0021]获取所述所有分割点中每一个分割点的坐标信息；
[0022]将全部所述坐标信息进行压缩处理，输出所述压缩处理得到的全部所述坐标信息对应的压缩数据。
[0023]第二方面，提供一种图像处理方法，包括:
[0024]接收视频图像帧的编码数据以及所述视频图像帧中前景图像的轮廓对应的深度数据，所述视频图像帧中，根据所述前景图像的轮廓，对所述前景图像的轮廓以内的视频图像像素点进行第一编码，对所述轮廓以外的视频图像像素点进行第二编码，获得所述视频图像帧对应的编码数据，其中，所述第一编码的编码速率高于所述第二编码的编码速率；
[0025]根据所述深度数据，对所述视频图像帧进行分割，得到所述视频图像帧中的前景图像；
[0026]播放所述前景图像。
[0027]结合上述第二方面，在第一种可能的实现方式中，还包括:
[0028]在播放所述前景图像的同时，播放预置的背景图像或图片，将所述背景图像或图片作为作数前景图像的背景。
[0029]第三方面，提供一种图像处理设备，包括:
[0030]采集模块，用于采集物体的视频图像和深度图像；
[0031]轮廓分割模块，用于利用所述深度图像对同一时刻的所述视频图像对应的视频图像帧进行分割，得到所述视频图像帧中前景图像的轮廓；
[0032]视频编码模块，用于根据所述前景图像的轮廓，对所述视频图像帧中所述前景图像的轮廓以内的视频图像像素点进行第一编码，对所述视频图像帧中所述轮廓以外的视频图像像素点进行第二编码，获得所述视频图像帧对应的编码数据，其中，所述第一编码的编码速率高于所述第二编码的编码速率；
[0033]第一输出模块，用于输出所述视频图像帧对应的编码数据；
[0034]第二输出模块，用于所述前景图像的轮廓对应的深度数据。
[0035]结合上述第三方面，在第一种可能的实现方式中，所述轮廓分割模块，包括:
[0036]像素对齐单元，用于将所述视频图像帧的深度图像与视频图像进行像素对齐；
[0037]深度差值计算单元，用于计算所述深度图像上每个像素点与各个相邻像素点的深度差值，确定像素点中与所有所述相邻像素点的深度差值的方差大于预设阈值的像素点为分割点；
[0038]分割点确定单元，用于遍历所述深度图像上全部像素点，确定出所有分割点；
[0039]轮廓获取单元，用于根据所述所有分割点，得出所述视频图像中前景图像的轮廓。
[0040]结合上述第三方面，在第二种可能的实现方式中，所述第二输出模块，包括:
[0041]二值图像简化单元，用于根据所述轮廓，将所述深度图像简化为二值图像；
[0042]二值图像编码单元，用于将所述二值图像进行编码处理；
[0043]二值图像输出单元，用于输出所述二值图像对应的编码数据。
[0044]结合上述第三方面，和第一种可能的实现方式，在第三种可能的实现方式中，所述第二输出模块，包括:
[0045]坐标获取单元，用于获取所述所有分割点中每一个分割点的坐标信息；
[0046]压缩单元，用于将全部所述坐标信息进行压缩处理；
[0047]坐标输出单元，用于输出所述压缩处理得到的全部所述坐标信息对应的压缩数据。
[0048]第四方面，提供一种图像处理设备，包括:
[0049]接收模块，用于接收视频图像帧的编码数据以及所述视频图像帧中前景图像的轮廓对应的深度数据，所述视频图像帧中，根据所述前景图像的轮廓，对所述前景图像的轮廓以内的视频图像像素点进行第一编码，对所述轮廓以外的视频图像像素点进行第二编码，获得所述视频图像帧对应的编码数据，其中，所述第一编码的编码速率高于所述第二编码的编码速率；
[0050]前景图像分割模块，用于根据所述深度数据，对所述视频图像帧进行分割，得到所述视频图像帧中的前景图像；
[0051〕 前景播放模块，用于播放所述前景图像。
[0052]结合上述第四方面，在第一种可能的实现方式中，还包括:
[0053]背景播放模块，用于在播放所述前景图像的同时，播放预置的背景图像或图片，将所述背景图像或图片作为作数前景图像的背景。
[0054]第五方面，提供一种图像处理系统，包括上述任一项两种所述的图像处理设备。
[0055]本发明实施例中，通过分割视频图像帧得到所述视频图像帧中前景图像的轮廓，根据所述前景图像的轮廓，可以区分出所述视频图像帧中的“前景”图像和“背景”图像，进而，对“前景”图像和“背景”图像分别包括的视频图像像素点进行不同方式的编码处理，即:对所述轮廓以内的“前景”图像采用较高编码速率的编码方式，对所述轮廓以外的“背景”图像采用较低编码速率的编码方式。通过该编码方式，能够减少编码过程中比特数的利用率，降低视频图像帧传输过程中对网络带宽的占用率，并增强“前景”图像的图像质量。此外，由于只传输所述轮廓对应的像素点的深度数据，并非传输深度图像中所有像素点对应的深度数据，可以进一步降低视频图像传输过程中对网络带宽的占用率。
【专利附图】
【附图说明】
[0056]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0057]图1为本发明提供的一个图像处理方法实施例的流程图；
[0058]图2为图1中步骤101的实现流程图；
[0059]图3为本发明提供的又一个图像处理方法实施例的流程图；
[0060]图4为本发明提供的一种图像处理设备实施例的结构框图；
[0061]图5为图4中轮廓分割模块的结构框图；
[0062]图6为图4中第二输出模块405的一种结构框图；
[0063]图7为图4中第二输出模块405的另一种结构框图；
[0064]图8为本发明提供的又一个图像处理设备实施例的结构框图；
[0065]图9为本发明提供的再一个图像处理设备实施例的结构框图；
[0066]图10为本发明提供的一个具体应用场景。
【具体实施方式】
[0067]为了使本【技术领域】的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中技术方案作进一步详细的说明。
[0068]首先，介绍本发明提供的一种图像处理方法。本发明提供的图像处理方法、设备及系统可以应用于应浸入式会议系统。
[0069]参见图1，为本发明提供的一个图像处理方法实施例的流程，具体可以包括:
[0070]步骤101、采集物体的视频图像和深度图像；
[0071]该实施例描述的是视频图像发送侧的图像处理方法。该步骤中，通过彩色摄像头，可以捕获用户的彩色视频图像，同时，通过深度摄像头，可以捕获用户与摄像头的距离的深度图像。
[0072]步骤102、利用所述深度图像对同一时刻的所述视频图像对应的视频图像帧进行分割，得到所述视频图像帧中前景图像的轮廓。
[0073]本发明提供的图像处理方法、设备及系统可以应用于应浸入式会议系统。对于浸入式会议系统，实际上用户关注度较高的视频图像只是实际接收到的视频图像中的一部分，这部分用户关注这部分的视频图像被称之为“前景”，而视频图像中其他用户较为不关注的视频图像部分被称之为“背景”。例如:一般视频会议中，与当前系统用户一起交谈的其他人都是该用户所关心的，因此，这些人的图像即为“前景”；除去这些人之外的该用户并不关注的图像即为“背景”。
[0074]上述步骤中，利用深度图像对同一时刻的视频图像对应的视频图像帧进行分割，通过图像分割，得到该视频图像帧中前景图像的轮廓。通过该分割方式，可以得到每个视频图像帧中前景图像的轮廓。
[0075]通过前景图像的该轮廓，即可分离出视频图像帧中的“前景”和“背景”，在视频图像帧的像素点范围之内，所述轮廓以内的所有像素点构成“前景”图像，而所述轮廓以外的所有像素点构成“背景”图像。
[0076]步骤103、根据所述前景图像的轮廓，对所述视频图像帧中所述前景图像的轮廓以内的视频图像像素点进行第一编码，对所述视频图像帧中所述轮廓以外的视频图像像素点进行第二编码，获得所述视频图像帧对应的编码数据，其中，所述第一编码的编码速率高于所述第二编码的编码速率。
[0077]该步骤中，利用所述前景图像的轮廓对所述视频图像巾贞进行001 (^6^1011 0？1社61~60，感兴趣区)编码，对所述视频图像帧中前景图像的轮廓以内以及轮廓以外的视频图像像素点采用不同的编码方式进行编码，包括:对所述视频图像中前景图像的轮廓以内的“前景”图像采用较高编码速率的编码方式，对所述视频图像中前景图像的轮廓以外的“背景”图像采用较低编码速率的编码方式。通过该编码方式，能够减少编码过程中比特数的利用率，降低视频图像传输过程中对网络带宽的占用率，并增强“前景”图像的图像质量。
[0078]步骤104、输出所述视频图像帧对应的编码数据以及所述前景图像的轮廓对应的深度数据。
[0079]该步骤中，将所述视频图像帧对应的编码数据以及所述轮廓对应的深度数据一并输出，从而，接收端可以根据所述前景图像的轮廓对应的深度数据，获得分割所述视频图像帧中“前景”图像和“背景”图像的轮廓，进而根据该前景图像的轮廓，从解码之后的视频图像帧中获得该视频图像帧中的“前景”图像。
[0080]由于只传输所述前景图像的轮廓对应的像素点的深度数据，并非传输深度图像中所有像素点对应的深度数据，可以进一步降低视频图像传输过程中对网络带宽的占用率。
[0081]本发明实施例中，通过分割视频图像帧得到所述视频图像帧中前景图像的轮廓，根据所述前景图像的轮廓，可以区分出所述视频图像帧中的“前景”图像和“背景”图像，进而，对“前景”图像和“背景”图像分别包括的视频图像像素点进行不同方式的编码处理，即:对所述轮廓以内的“前景”图像采用较高编码速率的编码方式，对所述轮廓以外的“背景”图像采用较低编码速率的编码方式。通过该编码方式，能够减少编码过程中比特数的利用率，降低视频图像帧传输过程中对网络带宽的占用率，并增强“前景”图像的图像质量。此外，由于只传输所述轮廓对应的像素点的深度数据，并非传输深度图像中所有像素点对应的深度数据，可以进一步降低视频图像传输过程中对网络带宽的占用率。
[0082]为了便于对本发明技术方案的理解，下面通过【具体实施方式】，对本发明技术方案进行详细说明。
[0083]具体实施时，上述步骤101中利用所述深度图像对同一时刻的所述视频图像对应的视频图像帧进行分割，得到所述视频图像帧中前景图像的轮廓，该步骤的具体实现方式如图2所示，具体可以包括以下执行步骤:
[0084]步骤201、将所述视频图像帧的深度图像与视频图像进行像素对齐；
[0085]该步骤中，将同一时刻深度摄像头采集到的深度图像和彩色摄像头采集到的彩色图像进行像素对齐。
[0086]具体地，当彩色图像的分辨率高于深度信息图像的分辨率时，则将彩色图像的分辨率下采样到深度信息图像的分辨率；当彩色图像的分辨率低于深度信息图像的分辨率时，则将彩色图像的分辨率上采样到深度信息图像的分辨率；当彩色图像的分辨率等于深度信息图像的分辨率时，则不用进行处理。
[0087]步骤202、计算所述深度图像上每个像素点与各个相邻像素点的深度差值，确定像素点中与所有所述相邻像素点的深度差值的方差大于预设阈值的像素点为分割点；
[0088]该步骤中，计算所述深度图像上每个像素点与各个相邻像素点的深度差值，通常为计算深度图像上每个像素点与邻近8个像素点深度值之差。深度图像上的每一个像素的值实际上就是该空间点的投影坐标，即表示该空间点到深度传感器所在的平面的距离2，单位是皿。通过计算这种深度差值，可以提取出深度图像上的不连续点，即分割点。
[0089]对应某一个像素点，在计算出的八个深度差值中，当其中的一个或多个深度差值与其它剩余的深度差值有明显的差异时，即该八个深度差值的方差大于一定的预设阈值时，即可以确定该像素点为分割点。
[0090]步骤203、遍历所述深度图像上全部像素点，确定出所有分割点；
[0091]该步骤中，依次对所述深度图像上的每个像素点进行上述与相邻像素点的深度差值计算，从而确定出所有的分割点。
[0092]步骤204、根据所述所有分割点，得出所述视频图像中前景图像的轮廓。
[0093]该步骤中，当确定出所有分割点，所有分割点连接起来之后，即可构成区分所述视频图像中“前景”图像和“背景”图像的轮廓。
[0094]本发明实施例中，在向接收端传输视频图像帧的过程中，还需要传输所述轮廓对应的深度数据。对于输出所述轮廓对应的深度数据，本发明实施例提供了如下两种处理方法:
[0095](1)根据所述轮廓，将所述深度图像简化为二值图像；将所述二值图像进行编码处理，输出所述二值图像对应的编码数据。
[0096]该方式下，将所述轮廓以内的所有像素点的值设置为0，将所述轮廓以外的所有像素点的值都设置为1。
[0097]输出时，对简化为二值图像的深度图像进行编码处理，进而，将该二值图像和彩色图像分别经编码处理后的码流输出，通过传输网络传输至观看该视频图像的接收端。
[0098]此外，对二值图像进行编码时可以应用181(?编码器。
[0099](2)获取所述所有分割点中每一个分割点的坐标信息；将全部所述坐标信息进行压缩处理，输出所述压缩处理得到的全部所述坐标信息对应的压缩数据。
[0100]该方式下，获取所有分割点的坐标信息，包括分割点对应像素点的空间坐标或者矢量坐标，空间坐标例如“X，7)坐标。然后，将所有分割点的坐标信息集中在一起，例如:表示为一个数据集。将该包含所有分割点坐标信息的数据集进行压缩，通过传输网络传输至观看该视频图像的接收端。
[0101]上述实施例主要描述了图像处理过程中图像发送侧的图像处理方法。相应地，本发明还提供了一种图像处理方法，主要针对图像处理过程中图像接收侧的图像处理方法。
[0102]参见图3，为本发明提供的一个图像处理方法实施例的流程，具体可以包括:
[0103]步骤301、接收视频图像帧的编码数据以及所述视频图像帧中前景图像的轮廓对应的深度数据，所述视频图像帧中，根据所述前景图像的轮廓，对所述前景图像的轮廓以内的视频图像像素点进行第一编码，对所述轮廓以外的视频图像像素点进行第二编码，获得所述视频图像帧对应的编码数据，其中，所述第一编码的编码速率高于所述第二编码的编码速率。
[0104]该步骤中，接收侧接收到图像发送侧发送的视频图像帧对应的编码数据以及所述视频图像帧中前景图像的轮廓对应的深度数据。视频图像发送侧已经通过图像分割，得到所述视频图像帧中前景图像的轮廓，并通过该轮廓，分离出视频图像帧中的“前景”和“背景”，所述视频图像帧中，所述轮廓以内的所有像素点构成“前景”图像，而所述轮廓以外的所有像素点构成“背景”图像。
[0105]此外，接收侧接收到视频图像帧对应的编码数据中，已由视频图像发送侧对所述视频图像帧中前景图像的轮廓以内的“前景”图像采用较高编码速率的编码方式，对所述视频图像帧中前景图像的轮廓以外的“背景”图像采用较低编码速率的编码方式。通过该编码方式，能够减少编码过程中比特数的利用率，降低视频图像传输过程中对网络带宽的占用率，并增强“前景”图像的图像质量。
[0106]步骤302、根据所述深度数据，对所述视频图像帧进行分割，得到所述视频图像帧中的前景图像。
[0107]该步骤中，接收侧可以对接收到的编码数据进行解码，获得发送侧采集到的视频图像，根据接收到的深度数据，可以对接收到的视频图像进行分割，进而获得接收到的视频图像中的前景图像。这部分前景图像通常是视频用户较为关注的图像部分。
[0108]步骤303、播放所述前景图像。
[0109]该步骤中，当分割出视频图像中的前景图像之后，即可以进行所述前景图像的播放。由于接收到的视频图像中除所述前景图像之外的背景图像往往不被用户关注，可以不进行这部分背景图像的播放。
[0110]例如:一般视频会议中，与当前系统用户一起交谈的其他人都是该用户所关心的，因此，这些人的图像即为“前景”;除去这些人之外的该用户并不关注的图像即为“背景”。通过本发明实施例，在视频接收侧，可以只播放用户较为关注的与当前系统用户一起交谈的人的图像，而不播放除去这些人之外的该用户并不关注的“背景”图像。
[0111]对于浸入式会议系统，在进行所述前景图像播放时，可以将所述前景图像设置于视频会议系统中会议界面的回放窗口上进行播放。
[0112]本发明实施例中，由于视频图像发送侧通过分割视频图像帧得到所述视频图像帧中前景图像的轮廓，根据所述前景图像的轮廓，可以区分出所述视频图像帧中的“前景”图像和“背景”图像，进而，对“前景”图像和“背景”图像分别包括的视频图像像素点进行不同方式的编码处理，即:对所述轮廓以内的“前景”图像采用较高编码速率的编码方式，对所述轮廓以外的“背景”图像采用较低编码速率的编码方式。通过该编码方式，能够减少编码过程中比特数的利用率，降低视频图像帧传输过程中对网络带宽的占用率，并增强“前景”图像的图像质量。此外，由于只传输所述轮廓对应的像素点的深度数据，并非传输深度图像中所有像素点对应的深度数据，可以进一步降低视频图像传输过程中对网络带宽的占用率。
[0113]由于接收到的视频图像中除所述前景图像之外的背景图像往往不被用户关注，为了提升用户参加视频会议时浸入式的体验，可以不进行这部分背景图像的播放，而是在播放所述前景图像的同时，播放预置的背景图像或图片，将所述背景图像或图片作为作数前景图像的背景。例如:在浸入式会议系统的会议界面上，与当前系统用户一起交谈的对方用户的人像通常为“前景”图像，在播放这部分“前景”图像时，可以播放预置的背景图像或图片，将该预置的背景图像或图片作为会议界面的“背景”图像，与会议界面上显示的对方用户的人像共同进行播放。
[0114]与本发明提供的图像处理方法实施例相对应，本发明还提供了一种图像处理设备。
[0115]如图4所示，为本发明提供的一种图像处理设备的实施例，该设备具体可以包括:
[0116]采集模块401，用于采集物体的视频图像和深度图像；
[0117]轮廓分割模块402，用于利用所述深度图像对同一时刻的所述视频图像对应的视频图像帧进行分割，得到所述视频图像帧中前景图像的轮廓；
[0118]视频编码模块403，用于根据所述前景图像的轮廓，对所述视频图像帧中所述前景图像的轮廓以内的视频图像像素点进行第一编码，对所述视频图像帧中所述轮廓以外的视频图像像素点进行第二编码，获得所述视频图像帧对应的编码数据，其中，所述第一编码的编码速率高于所述第二编码的编码速率；
[0119]第一输出模块404，用于输出所述视频图像帧对应的编码数据；
[0120]第二输出模块405，用于所述前景图像的轮廓对应的深度数据
[0121]本发明实施例中，通过采集模块，采集物体的视频图像和深度图像，通过图像处理设备中的轮廓分割模块，分割视频图像帧得到所述视频图像帧中前景图像的轮廓，根据所述轮廓，可以区分出所述视频图像帧中的“前景”图像和“背景”图像，进而，通过视频编码模块，对“前景”图像和“背景”图像分别包括的视频图像像素点进行不同方式的编码处理，即:对所述轮廓以内的“前景”图像采用较高编码速率的编码方式，对所述轮廓以外的“背景”图像采用较低编码速率的编码方式。通过该编码方式，能够减少编码过程中比特数的利用率，降低视频图像传输过程中对网络带宽的占用率，并增强“前景”图像的图像质量。此外，由于只传输所述轮廓对应的像素点的深度数据，并非传输深度图像中所有像素点对应的深度数据，可以进一步降低视频图像传输过程中对网络带宽的占用率。
[0122]在本发明提供的一个可行的实施例中，如图5所示，所述轮廓分割模块402，具体可以包括:
[0123]像素对齐单元501，用于将所述视频图像帧的深度图像与视频图像进行像素对齐；
[0124]深度差值计算单元502，计算所述深度图像上每个像素点与各个相邻像素点的深度差值，确定像素点中与所有所述相邻像素点的深度差值的方差大于预设阈值的像素点为分割点；
[0125]分割点确定单元503，用于遍历所述深度图像上全部像素点，确定出所有分割点；
[0126]轮廓获取单元504，用于根据所述所有分割点，得出所述视频图像中前景图像的轮廓。
[0127]在本发明提供的一个可行的实施例中，如图6所示，所述第二输出模块405，具体可以包括:
[0128]二值图像简化单元601，用于根据所述轮廓，将所述深度图像简化为二值图像；
[0129]二值图像编码单元602，用于将所述二值图像进行编码处理；
[0130]二值图像输出单元603，用于输出所述二值图像对应的编码数据。
[0131〕 该实现方式下，将所述轮廓以内的所有像素点的值设置为0，将所述轮廓以外的所有像素点的值都设置为1。输出时，对简化为二值图像的深度图像进行编码处理，进而，将该二值图像和彩色图像分别经编码处理后的码流输出，通过传输网络传输至观看该视频图像的接收端。
[0132]在本发明提供的另一个可行的实施例中，如图7所示，所述第二输出模块405，具体可以包括:
[0133]坐标获取单元701，用于获取所述所有分割点中每一个分割点的坐标信息；
[0134]压缩单元702，用于将全部所述坐标信息进行压缩处理；
[0135]坐标输出单元703，用于输出所述压缩处理得到的全部所述坐标信息对应的压缩数据。
[0136]该实现方式下，获取所有分割点的坐标信息，包括分割点对应像素点的空间坐标或者矢量坐标，空间例如“X，7)坐标。然后，将所有分割点的坐标信息集中在一起，例如:表示为一个数据集。将该包含所有分割点坐标信息的数据集进行压缩，通过传输网络传输至观看该视频图像的接收端。
[0137]上述图像处理设备为图像处理过程中图像发送侧的相应设备，本发明实施例中，提供了一种图像处理设备，为图像处理过程中图像接收侧的相应设备。
[0138]如图8所示，为本发明提供的一种图像处理设备的实施例，该设备具体可以包括:
[0139]接收模块801，用于接收视频图像帧的编码数据以及所述视频图像帧中前景图像的轮廓对应的深度数据，所述视频图像帧中，根据所述前景图像的轮廓，对所述前景图像的轮廓以内的视频图像像素点进行第一编码，对所述轮廓以外的视频图像像素点进行第二编码，获得所述视频图像帧对应的编码数据，其中，所述第一编码的编码速率高于所述第二编码的编码速率；
[0140]前景图像分割模块802，用于对所述视频图像帧进行分割，得到所述视频图像帧中的前景图像；
[0141]前景播放模块803，用于播放所述前景图像。
[0142]本发明实施例中，由于视频图像发送侧通过分割视频图像帧得到所述视频图像帧中前景图像的轮廓，根据所述前景图像的轮廓，可以区分出所述视频图像帧中的“前景”图像和“背景”图像，进而，对“前景”图像和“背景”图像分别包括的视频图像像素点进行不同方式的编码处理，即:对所述轮廓以内的“前景”图像采用较高编码速率的编码方式，对所述轮廓以外的“背景”图像采用较低编码速率的编码方式。通过该编码方式，能够减少编码过程中比特数的利用率，降低视频图像帧传输过程中对网络带宽的占用率，并增强“前景”图像的图像质量。此外，由于只传输所述轮廓对应的像素点的深度数据，并非传输深度图像中所有像素点对应的深度数据，可以进一步降低视频图像传输过程中对网络带宽的占用率。
[0143]在本发明提供的另一个实施例中，如图9所示，所述图像处理设备还可以包括:
[0144]背景播放模块804，用于在播放所述前景图像的同时，播放预置的背景图像或图片，将所述背景图像或图片作为作数前景图像的背景。
[0145]由于接收到的视频图像中除所述前景图像之外的背景图像往往不被用户关注，为了提升用户参加视频会议时浸入式的体验，本发明实施例中，可以不进行这部分背景图像的播放，而是在播放所述前景图像的同时，播放预置的背景图像或图片，将所述背景图像或图片作为作数前景图像的背景。
[0146]相应地，本发明还提供了一种图像处理系统。该系统具体可以包括:图像发送设备和图像接收设备，其中，
[0147]所述图像发送设备，用于采集物体的视频图像和深度图像；利用所述深度图像对同一时刻的所述视频图像对应的视频图像帧进行分割，得到所述视频图像帧中前景图像的轮廓；根据所述前景图像的轮廓，对所述视频图像帧中所述前景图像的轮廓以内的视频图像像素点进行第一编码，对所述视频图像帧中所述轮廓以外的视频图像像素点进行第二编码，获得所述视频图像帧对应的编码数据，其中，所述第一编码的编码速率高于所述第二编码的编码速率；输出所述视频图像帧对应的编码数据以及所述前景图像的轮廓对应的深度数据；
[0148]所述图像接收设备，用于接收视频图像帧的编码数据以及所述视频图像帧中前景图像的轮廓对应的深度数据，根据所述深度数据，对所述视频图像帧进行分割，得到所述视频图像帧中的前景图像；播放所述前景图像。
[0149]上述系统实施例中，在图像发送设备一侧，通过分割视频图像帧得到所述视频图像帧中前景图像的轮廓，根据所述前景图像的轮廓，可以区分出所述视频图像帧中的“前景”图像和“背景”图像，进而，对“前景”图像和“背景”图像分别包括的视频图像像素点进行不同方式的编码处理，即:对所述轮廓以内的“前景”图像采用较高编码速率的编码方式，对所述轮廓以外的“背景”图像采用较低编码速率的编码方式。通过该编码方式，能够减少编码过程中比特数的利用率，降低视频图像帧传输过程中对网络带宽的占用率，并增强“前景”图像的图像质量。此外，由于只传输所述轮廓对应的像素点的深度数据，并非传输深度图像中所有像素点对应的深度数据，可以进一步降低视频图像传输过程中对网络带宽的占用率。
[0150]此外，上述系统中，图像发送设备还可以执行图2所示的执行流程以及前述两种输出所述轮廓对应的深度数据的处理方法；图像接收设备还可以执行图3所示的执行流程，并能够在播放所述前景图像的同时，播放预置的背景图像或图片，将所述背景图像或图片作为作数前景图像的背景。
[0151〕 下面通过一个具体应用场景，对上述技术方案进行解释说明。
[0152]如图10所述的应用场景中，图像发送设备3侧的深度摄像头1001用于捕获用户与摄像头的距离的深度图像，彩色摄像头1002用于捕获用户的彩色视频图像，获得当前视频图像的视频图像帧；通过轮廓分割模块1003，利用所述深度图像对该视频图像帧进行分害11，得到所述视频图像帧中前景图像的轮廓；根据所述轮廓，将所述深度图像简化为二值图像，将所述二值图像利用181(?编码器1004进行编码处理，同时，通过基于如1编码的视频编码器1005实现利用所述前景图像的轮廓对所述视频图像帧进行如1编码；两种编码数据通过网络1006传输至图像接收设备6侧的181(?解码器1007和如1解码器1008 ；通过18162解码器获得所述视频图像帧中前景图像的轮廓，进而，通过前景图像分割模块1009，将视频图像帧中的前景图像单独分割出来；进一步，可以通过背景播放模块1010，实现在播放所述前景图像的同时，播放预置的背景图像或图片，将预置的背景图像或图片作为作数前景图像的背景。
[0153]本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0154]所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、设备和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0155]在本申请所提供的几个实施例中，应该理解到，所揭露的系统、设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0156]所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0157]另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0158]所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器㈧抓⑶88010执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括山盘、移动硬盘、只读存储器1^68(1-01117此膨^^^随机存取存储器^狀^^尺册己。!!！ ^00688 1611101*7)、磁碟或者光盘等各种可以存储程序代码的介质。
[0159]以上所述，仅为本发明的【具体实施方式】，但本发明的保护范围并不局限于此，任何熟悉本【技术领域】的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
【权利要求】
1.一种图像处理方法，其特征在于，包括: 采集物体的视频图像和深度图像； 利用所述深度图像对同一时刻的所述视频图像对应的视频图像帧进行分割，得到所述视频图像帧中前景图像的轮廓； 根据所述前景图像的轮廓，对所述视频图像帧中所述前景图像的轮廓以内的视频图像像素点进行第一编码，对所述视频图像帧中所述轮廓以外的视频图像像素点进行第二编码，获得所述视频图像帧对应的编码数据，其中，所述第一编码的编码速率高于所述第二编码的编码速率； 输出所述视频图像帧对应的编码数据以及所述前景图像的轮廓对应的深度数据。
2.根据权利要求1所述的方法，其特征在于，所述利用所述深度图像对同一时刻的所述视频图像对应的视频图像帧进行分割，得到所述视频图像帧中前景图像的轮廓，包括: 将所述视频图像帧的深度图像与视频图像进行像素对齐； 计算所述深度图像上每个像素点与各个相邻像素点的深度差值，确定像素点中与所有所述相邻像素点的深度差值的方差大于预设阈值的像素点为分割点； 遍历所述深度图像上全部像素点，确定出所有分割点； 根据所述所有分割点，得出所述视频图像中前景图像的轮廓。
3.根据权利要求1所述的方法，其特征在于，所述输出所述轮廓对应的深度数据，包括: 根据所述轮廓，将所述深度图像简化为二值图像； 将所述二值图像进行编码处理，输出所述二值图像对应的编码数据。
4.根据权利要求2所述的方法，其特征在于，所述输出所述前景图像的轮廓对应的深度数据，包括: 获取所述所有分割点中每一个分割点的坐标信息； 将全部所述坐标信息进行压缩处理，输出所述压缩处理得到的全部所述坐标信息对应的压缩数据。
5.一种图像处理方法，其特征在于，包括: 接收视频图像帧的编码数据以及所述视频图像帧中前景图像的轮廓对应的深度数据，所述视频图像帧中，根据所述前景图像的轮廓，对所述前景图像的轮廓以内的视频图像像素点进行第一编码，对所述轮廓以外的视频图像像素点进行第二编码，获得所述视频图像帧对应的编码数据，其中，所述第一编码的编码速率高于所述第二编码的编码速率； 根据所述深度数据，对所述视频图像帧进行分割，得到所述视频图像帧中的前景图像； 播放所述前景图像。
6.根据权利要求5所述的方法，其特征在于，还包括: 在播放所述前景图像的同时，播放预置的背景图像或图片，将所述背景图像或图片作为作数前景图像的背景。
7.一种图像处理设备，其特征在于，包括: 采集模块，用于采集物体的视频图像和深度图像； 轮廓分割模块，用于利用所述深度图像对同一时刻的所述视频图像对应的视频图像帧进行分割，得到所述视频图像帧中前景图像的轮廓； 视频编码模块，用于根据所述前景图像的轮廓，对所述视频图像帧中所述前景图像的轮廓以内的视频图像像素点进行第一编码，对所述视频图像帧中所述轮廓以外的视频图像像素点进行第二编码，获得所述视频图像帧对应的编码数据，其中，所述第一编码的编码速率高于所述第二编码的编码速率； 第一输出模块，用于输出所述视频图像帧对应的编码数据； 第二输出模块，用于所述前景图像的轮廓对应的深度数据。
8.根据权利要求7所述的设备，其特征在于，所述轮廓分割模块，包括: 像素对齐单元，用于将所述视频图像帧的深度图像与视频图像进行像素对齐； 深度差值计算单元，用于计算所述深度图像上每个像素点与各个相邻像素点的深度差值，确定像素点中与所有所述相邻像素点的深度差值的方差大于预设阈值的像素点为分割占.分割点确定单元，用于遍历所述深度图像上全部像素点，确定出所有分割点； 轮廓获取单元，用于根据所述所有分割点，得出所述视频图像中前景图像的轮廓。
9.根据权利要求7所述的设备，其特征在于，所述第二输出模块，包括: 二值图像简化单元，用于根据所述轮廓，将所述深度图像简化为二值图像； 二值图像编码单元，用于将所述二值图像进行编码处理； 二值图像输出单元，用于输出所述二值图像对应的编码数据。
10.根据权利要求8所述的设备，其特征在于，所述第二输出模块，包括: 坐标获取单元，用于获取所述所有分割点中每一个分割点的坐标信息； 压缩单元，用于将全部所述坐标信息进行压缩处理； 坐标输出单元，用于输出所述压缩处理得到的全部所述坐标信息对应的压缩数据。
11.一种图像处理设备，其特征在于，包括: 接收模块，用于接收视频图像帧的编码数据以及所述视频图像帧中前景图像的轮廓对应的深度数据，所述视频图像帧中，根据所述前景图像的轮廓，对所述前景图像的轮廓以内的视频图像像素点进行第一编码，对所述轮廓以外的视频图像像素点进行第二编码，获得所述视频图像帧对应的编码数据，其中，所述第一编码的编码速率高于所述第二编码的编码速率； 前景图像分割模块，用于根据所述深度数据，对所述视频图像帧进行分割，得到所述视频图像帧中的前景图像； 前景播放模块，用于播放所述前景图像。
12.根据权利要求11所述的设备，其特征在于，还包括: 背景播放模块，用于在播放所述前景图像的同时，播放预置的背景图像或图片，将所述背景图像或图片作为作数前景图像的背景。
13.一种图像处理系统，其特征在于，包括如权利要求7-10中任一项所述的图像处理设备以及权利要求11-12中任一项所述的图像处理设备。
【文档编号】H04N7/15GK104427291SQ201310362321
【公开日】2015年3月18日 申请日期:2013年8月19日 优先权日:2013年8月19日
【发明者】郭岩岭, 王田, 张德军 申请人:华为技术有限公司