一种图像处理方法和装置的制造方法

文档序号:10726515阅读:476来源:国知局
一种图像处理方法和装置的制造方法
【专利摘要】本发明实施例公开了一种图像处理方法和装置;本发明实施例采用接收信息获取请求,然后,根据该信息获取请求获取人物的深度图像信息,该深度图像信息包括:人物图像、该人物图像中像素点的深度信息,获取渲染位置指示信息,该渲染位置指示信息指示交互界面中的目标渲染区域,根据该渲染位置指示信息和该像素点对应的深度信息,在该目标渲染区域对该人物图像进行渲染。
【专利说明】
一种图像处理方法和装置
技术领域
[0001]本发明涉及通信技术领域,具体涉及一种图像处理方法和装置。
【背景技术】
[0002]随着互联网的发展和移动通信网络的发展,现如今,应用程序已经成为人们生活娱乐、以及沟通交流不可或缺的一部分。
[0003]应用程序运行过程中,应用程序一般提供用户界面(UI),以实现与用户交互。目前有一些应用程序可以在用户界面上显示虚拟人物图像,比如,游戏应用可以在用户界面上显示虚拟人物图像。在现有技术中,为了提高用户体验,一些应用程序可以将真实人物的大致轮廓放置在用户界面上;具体地,获取人物图像,从人物图像中提取人物的单色信息和人物轮廓,然后,根据单色信息在用户界面中固定位置渲染人物的轮廓。
[0004]在对现有技术的研究和实践过程中,本发明的发明人发现,在现有方案中,基于单色信息在用户界面上渲染人物的轮廓,因此,图像显示效果不佳。

【发明内容】

[0005]本发明实施例提供一种图像处理方法和装置,可以改善图像显示效果。
[0006]本发明实施例提供一种图像处理方法,包括:
[0007]接收信息获取请求;
[0008]根据所述信息获取请求获取人物的深度图像信息,所述深度图像信息包括:人物图像、所述人物图像中像素点的深度信息;
[0009]获取渲染位置指示信息,所述渲染位置指示信息指示交互界面中的目标渲染区域;
[0010]根据所述渲染位置指示信息和所述像素点对应的深度信息,在所述目标渲染区域对所述人物图像进行渲染。
[0011]相应的,本发明实施例还提供一种图像处理装置,包括:
[0012]接收单元,用于接收信息获取请求;
[0013]第一获取单元,用于根据所述信息获取请求获取人物的深度图像信息,所述深度图像信息包括:人物图像、所述人物图像中像素点的深度信息;
[0014]第二获取单元,用于获取渲染位置指示信息,所述渲染位置指示信息指示交互界面中的目标渲染区域;
[0015]渲染单元,用于根据所述渲染位置指示信息和所述像素点对应的深度信息,在所述目标渲染区域对所述人物图像进行渲染。
[0016]本发明实施例采用接收信息获取请求,然后,根据该信息获取请求获取人物的深度图像信息,该深度图像信息包括:人物图像、该人物图像中像素点的深度信息,获取渲染位置指示信息,该渲染位置指示信息指示交互界面中的目标渲染区域,根据该渲染位置指示信息和该像素点对应的深度信息,在该目标渲染区域对该人物图像进行渲染;该方案可以基于图像像素点的深度信息在目标区域对人物图像进行渲染,相对于现有技术而言,可以改善图像显示效果。
【附图说明】
[0017]为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0018]图1a是本发明实施例一提供的图像处理方法的流程图;
[0019]图1b是本发明实施例一提供的一种切图不意图;
[0020]图1c是本发明实施例一提供的另一种切图不意图;
[0021 ]图1d是本发明实施例一提供的又一种切图不意图;
[0022]图2a是本发明实施例二提供的一种图像处理方法的流程图;
[0023]图2b是本发明实施例二提供的人物图像预处理的流程图;
[0024]图2c是本发明实施例二提供的一种游戏界面示意图;
[0025]图3a是本发明实施例三提供的一种图像处理装置的结构示意图;
[0026]图3b是本发明实施例三提供的另一种图像处理装置的结构示意图;
[0027]图4是本发明实施例四提供的一种终端的结构示意图。
【具体实施方式】
[0028]下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0029]本发明实施例提供一种图像处理方法和装置。以下分别进行详细说明。需说明的是,以下实施例的编号并不作为对实施例优选顺序的限定。
[0030]实施例一、
[0031]本实施例将从图像处理装置的角度进行描述,该图像处理装置具体可以作为独立的实体来实现,也可以集成在其他的设备,比如终端中来实现,该终端具体可以包括手机、平板电脑、笔记本电脑、或个人计算机(PC,Personal Computer)、智能电视、游戏盒子等设备中。
[0032]—种图像处理方法,包括:采用接收信息获取请求,然后,根据该信息获取请求获取人物的深度图像信息,该深度图像信息包括:人物图像、该人物图像中像素点的深度信息,获取渲染位置指示信息,该渲染位置指示信息指示交互界面中的目标渲染区域,根据该渲染位置指示信息和该像素点对应的深度信息,在该目标渲染区域对该人物图像进行渲染。
[0033]如图1a所示,该图像处理方法的具体流程可以如下:
[0034]101、接收信息获取请求。
[0035]比如,在游戏设备中可以接收游戏引擎发送的信息获取请求,等等。
[0036]102、根据该信息获取请求获取人物的深度图像信息,其中,该深度图像信息包括:人物图像、该人物图像中像素点的深度信息。
[0037]该深度图像信息可以是由深度摄像头采集到的深度图像信息,其中,该深度摄像头可以为体感摄像头等。
[0038]在获取人物的深度图像信息时,具体可以从本地存储单元中提取该深度图像信息,比如,游戏设备中人物图像处理模块可以根据信息获取请求从本地存储单元中提取深度摄像头采集到的深度图像信息。
[0039]实际应用中,在接收信息获取请求之前,还可以与深度摄像头建立连接,然后,初始化深度摄像头并通过该深度摄像头采集人物的深度图像信息,将采集到的深度图像信息存储在相应的存储单元中。
[0040]本实施例深度图像信息可以包括人物图像、人物图像中像素点的深度信息,像素点对应的人物标识等等。其中,该深度信息可以包括像素点对应的颜色信息、以及像素点对应的清晰度;该深度信息可以由深度摄像头生成。
[0041]该像素点对应的清晰度可以为像素点相对于该交互界面中背景图像的清晰度,也即像素点与交互界面背景图像的混合度。
[0042]103、获取渲染位置指示信息,该渲染位置指示信息指示交互界面中的目标渲染区域。
[0043]其中,获取渲染位置指示信息可以基于用户预设设置的渲染位置信息生成,或者也可以基于交互界面中背景图像生成。
[0044]本实施例中,目标渲染区域可以根据实际需求设定,比如,可以为游戏交互界面的中央区域、上方区域等等。
[0045]104、根据该渲染位置指示信息和该像素点对应的深度信息,在该目标渲染区域对该人物图像进行渲染。
[0046]比如,游戏引擎可以根据该渲染位置指示信息和该像素点对应的深度信息,在该目标渲染区域对该人物图像进行渲染。
[0047]可选地,考虑到用户所在空间位置,不一定在合理的范围内,例如用户所在位置离摄像头过近或摄像头仰角过高,将导致用户只有上半身在摄像头的拍摄范围内,如果将该图像直接渲染至交互界面中,会导致图像的显示效果不佳;因此,为了提升图像显示效果以及节省终端资源,本实施例可以在用户的某个部位在人物图像中时,对像素点的深度信息进行调整;也即步骤“根据该渲染位置指示信息和该像素点对应的深度信息,在该目标渲染区域对该人物图像进行渲染”可以包括:
[0048]确定该人物的第一目标部位是否在该人物图像中;
[0049]若否,则对该人物图像中像素点的深度信息进行调整,以得到调整后深度信息;
[0050]根据该渲染位置指示信息以及该像素点对应的调整后深度信息,在该目标渲染区域对该人物图像进行渲染。
[0051]其中,第一目标部位可以根据实际需求设定,比如可以为头部、脚部、肩部等等。
[0052]比如,在深度信息包括像素点对应的清晰度的情况下,可以在第一目标部分不在人物图像中时,对像素点的清晰度进行调整(如调低清晰度);也即步骤“对该人物图像中像素点的深度信息进行调整”可以包括:对该人物图像中像素点的清晰度进行调整。
[0053]例如,当确定人物的脚部或者脚部不在人物图像中,则降低人物图像中像素点的清晰度,此时,在交互界面中渲染生成的图像将会变的不清晰,从而可以提醒用户其当前所处的位置不合理的,引导用户校正位置。
[0054]其中,确定人物的目标部位是否在人物图像中的方式可以有多种,比如,为提高确定的准确性,可以基于人物的骨骼坐标来确定,也即步骤“确定人物的第一目标部位是否在该人物图像”可以包括:
[0055]获取该人物的骨骼坐标,并将该骨骼坐标转换成图像坐标;
[0056]获取第一目标部位对应的图像坐标点集合;
[0057]判断该图像坐标点集合中图像坐标点是否均在预设坐标区域内;
[0058]若是,则确定该人物的第一目标部位在该人物图像中;
[0059]若否,则确定该人物的第一目标部位不在该人物图像中。
[0060]该人物的骨骼坐标可以由深度摄像头采集,如通过深度摄像头上的红外传感器来采集,获取骨骼坐标时,可以从本地存储单元中获取。由于骨骼坐标一般为三维位置坐标,因此,为了方便,本实施例可以将骨骼坐标转换成二维的图像坐标,然后,判断第一目标部位对应的图像坐标点集合是否位于预设坐标区域既可确定第一目标部位是否位于人物图像中。
[0061]其中,预设坐标区域可以基于人物图像的图像坐标点设定,比如,脚部对应的预设坐标区域可以为人物图像的底部坐标区域、或者人物图像对应的坐标区域,头部对应的预设坐标区域可以为人物图像的顶部坐标区域,或者人物图像对应的坐标区域等等。
[0062]例如,可在转换图像坐标之后,可以获取脚部或者头部对应的图像坐标点集合,然后,判断图像坐标点集合中所有图像坐标点是否均位于预设坐标区域,若是,则确定脚部或者头部位于人物图像中,否则确定脚部或者头部不位于人物图像中。
[0063]可选地,在实际应用中,确定图像坐标点是否位于坐标区域内,可以基于坐标点的坐标值来确定,比如,可以确定某个图像坐标点的坐标值是否位于预设坐标区域对应的坐标范围内,若是,则确定该图像坐标点位于该预设坐标区域,也即步骤“判断该图像坐标点集合中图像坐标点是否均在预设坐标区域内”可以包括:
[0064]判断该图像坐标点集合中图像坐标点的坐标值是否均在预设坐标区域对应的坐标值范围内,若是,则判定图像坐标点集合中图像坐标点均在预设坐标区域内,否则,判定图像坐标点集合中图像坐标点不均在预设坐标区域内。其中,图像坐标点的坐标值可以X坐标值和/或Y坐标值,具体地可以根据实际情况设定,比如,第一目标部位为脚部时,该图像坐标的坐标值可以Y坐标值等等。
[0065]为了加快确定第一目标部位是否为人物图像的速度,本实施例可以根据坐标值大小从图像坐标点集合中选取一个目标图像坐标点,当判断该目标图像坐标点在预设坐标区域内,则默认为图像坐标点集合中所有坐标点均位于预设坐标区域,比如,当第一目标部位为脚部时,可以选取坐标点集合中Y值最大或者最小(视图像坐标系方向和原点而定)的坐标点作为目标图像坐标点,或者当第一目标部位为头部时,可以选取坐标点集合中Y值最小或者最大(与脚部坐标值相反)的坐标点作为目标图像坐标点;也即步骤“判断该图像坐标点集合中图像坐标点是否均在预设坐标区域内”可以包括:
[0066]根据该图像坐标点集合中图像坐标点对应的坐标值大小,从该图像坐标点集合中选取目标图像坐标点;
[0067]判断该目标图像坐标点的坐标值是否在预设坐标区域对应的坐标值范围内;
[0068]若是,则判定该图像坐标点集合中图像坐标点均在预设坐标区域内;
[0069]若否,则判定该图像坐标点集合中图像坐标点不均在预设坐标区域内。
[0070]可选地为提高深度信息调整的精确性,本实施例可以基于图像坐标点与预设坐标区域之间的偏移信息来对深度信息(如清晰度)进行调整,也即步骤“对该人物图像中像素点的深度信息进行调整”可以包括:
[0071]获取该图像坐标点集合中图像坐标点与该预设坐标区域之间的偏移信息;
[0072]根据该偏移信息对该人物图像中像素点的深度信息进行调整。
[0073]比如,可以根据偏移信息对该人物图像中像素点对应的清晰度进行调整,具体地,可以根据偏移信息获取相应的目标清晰度,然后,根据该目标清晰度对该人物图像中像素点对应的清晰度进行调整。
[0074]其中,偏移信息可以包括偏移方向、偏移距离等等,其中,偏移距离可以由坐标点的坐标值与预设坐标区域对应的坐标值范围之间的差值得到。
[0075]本实施例可以获取坐标集合中每个坐标点与预设坐标区域之间的偏移信息,也可以获取坐标集合中某个坐标点与预设坐标区域之间的偏移信息;比如,在坐标集合中选取一个坐标点,获取该坐标点与预设坐标区域之间的偏移信息,又比如,当根据坐标值选取目标坐标点,且采用目标图像坐标点确定坐标集合是否在预设坐标区域内的情况下,可以获取目标图像坐标点与预设坐标区域之间的偏移信息,也即步骤“获取该图像坐标点集合中图像坐标点与该预设坐标区域之间的偏移信息”可以包括:
[0076]获取目标图像坐标点与预设坐标区域之间的偏移信息。
[0077]例如,获取目标图像坐标点与预设坐标区域中心坐标点或者边界坐标点(S卩处于预设坐标区域边界的坐标点)之间的偏移距离和偏移方向。
[0078]本实施例中可以根据偏移信息获取目标清晰度,可选地,考虑在实际应用中用户的骨骼坐标本身也有可能存在一定的误差,可能会导致根据偏移信息获取的目标清晰度幅度比较大,然而用户的空间位置具有很强的连续性,清晰度值一般在一个范围内,此时若调整清晰度,那么会出现图像清晰跳跃不稳定,图像显示效果不佳;本实施例为提高清晰度的稳定性和图像显示效果,可以对清晰度进行低通滤波;也即步骤“根据该偏移信息对该人物图像中像素点对应的清晰度进行调整”可以包括:
[0079]根据该偏移信息获取相应的目标清晰度;
[0080]判断该目标清晰度是否在预设阈值范围内;
[0081]若是,则根据该目标清晰度对该人物图像中像素点对应的清晰度进行调整;
[0082]若否,则可以过滤掉该目标清晰度。
[0083]可选地,在实际应用中,当用户在合理范围的边界附近等情况下,由于骨骼坐标的抖动会造成误判断目标部位(如脚部或头部)不在人物图像内,因此,本实施例可以基于目标部位不在人物图像中的连续判断次数避免此类情况出现,以提高确定的精确性,;也即在确定第一目标部位不在该人物图像中之后,对该人物图像中像素点的深度信息进行调整之前;本实施例方法还可以包括:
[0084]获取当前该第一目标部位不在该人物图像中的连续确定次数;
[0085]判断该连续确定次数是否大于预设次数;
[0086]若是,则执行对该人物图像中像素点的深度信息进行调整的步骤。
[0087]其中,预设次数可以根据实际情况设定,比如,可以为5、6、7等等。
[0088]例如,在确定脚部不在人物图像中之后,可以获取当前脚部不在人物图像中的连续确定次数,若该次数大于预设次数,则真正表明脚部不在人物图像内,此时,可以对人物图像中像素点的深度信息进行调整,如对像素点的清晰度进行调整。
[0089]本实施例中,对于终端来说,用户的合理位置范围可以根据人物的目标部位是否在人物图像中来定义,比如,可以定义合理位置范围为:人物的第一目标部位和第二目标部位均在人物图像中,常见的合理位置范围为:人物的头部在图像中、人物的脚部也在图像中或者在图像底部区域;因此,本实施例方法在确定第一目标部位在人物图像中之后,还需要确定第二目标部位是否在人物图像,若不在,则需要对深度信息进行调整,以提醒用户并且节省终端资源;也即在步骤“根据该渲染位置指示信息和该像素点对应的深度信息,在该目标渲染区域对该人物图像进行渲染”还可以包括:
[0090]当确定该人物的第一目标部位在该人物图像中时,确定该人物的第二目标部位是否在该人物图像中;
[0091 ]若否,则对该人物图像中像素点的深度信息进行调整,以得到调整后深度信息;
[0092]根据该渲染位置指示信息以及该像素点对应的调整后深度信息,在该目标渲染区域对该人物图像进行渲染。
[0093]其中,确定第二目标部位是否在人物图像中的方式与上述确定以目标部位是否在人物图像中的方式类似,可以基于第二目标部位对应的图像坐标点与相应的预设坐标区域来确定,可以参考上述的描述;另外,对深度信息进行调整的方式也可以参考上述对深度信息进行调整的过程,比如,可以获取偏移信息来,然后根据偏移信息来对深度信息(如清晰度)调整,此外,还可以基于第二目标部位不在人物图像内的连续确定次数来避免误判断,也可以对清晰度进行低通滤波,具体过程可以参考上述的描述,此处不在赘述。
[0094]可选地,由于深度图像信息中像素点对应的人物标识会存在一定的误差,这将会导致人物图像出现空洞,降低图像显示效果;为了消除图像空洞、提升图像显示效果,本实施例方法还可以人物标识以及清晰度进行预处理,也即该深度图像信息还包括:该像素点对应的人物标识,该深度信息包括:该像素点对应的清晰度的情况下,在获取深度图像信息之后,对该人物图像进行渲染之前,本实施例方法还包括:
[0095]在该人物图像中确定人物图像区域;
[0096]根据该人物图像区域内像素点对应的人物标识,在该人物图像区域中确定人物标识间断的间断像素点;
[0097]重新生成该间断像素点的人物标识;
[0098]根据该预设清晰度范围对该人物图像区域内像素点对应的清晰度进行调整。
[0099]可选地,步骤“根据该人物图像区域内像素点对应的人物标识,在该人物图像区域中确定人物标识间断的间断像素点”可以包括:
[0100]依次扫描该人物图像区域中每一行像素点或者每一列像素点对应的人物标识,以得到标识扫描结果;
[0101]根据该标识扫描结果确定人物图像区域中标识间断且不在该人物图像区域边界的间断像素点。
[0102]比如,可以逐行扫描人物图像区域的每一行像素点对应的人物标识,然后,基于该扫描结果确定人物图像区域中标识间断且不在该人物图像区域边界的间断像素点。
[0103]其中,人物标识对应的预设清晰度范围可以根据实际需求设定,比如,可以为0-150、0_255等等。本实施例中步骤“根据该人物标识对应的预设清晰度范围,对该人物图像区域内像素点对应的清晰度进行调整”可以包括:
[0104]从该预设清晰度范围内选取目标清晰度;
[0105]根据该目标清晰度对人物图像区域内像素点对应的清晰度进行调整。
[0106]例如,当预设清晰度范围为0-155时,可以将人物图像内像素点对应的清晰度设置为148。应当理解的是:本实施例中人物图像区域内不同像素点对应的清晰度可以相同,也可以不同,具体可以根据实际情况设定。
[0107]可选地,为减轻人物图像边缘出现锯齿的程度,提升显示效果,本实施例方法在根据该预设清晰度范围对该人物图像区域内像素点对应的清晰度进行调整之后,对该人物图像进行渲染之前,还可以包括:
[0108]确定该人物图像区域中位于区域边界的边界像素点;
[0109]根据该人物图像中背景图像区域像素点对应的清晰度以及该边界像素点当前对应的清晰度,获取相应的清晰度范围;
[0110]根据该清晰度范围对该边界像素点对应的清晰度进行调整。
[0111]比如,背景图像区域像素点对应的清晰度为0,边界像素点当前的清晰度为188,此时,获取的清晰度范围为0-188,然后,可以将边界像素点对应的清晰度值设置为0-188中的某一个值,以平滑人物图像区域的边缘,提升显示效果。其中不同边界像素点可以设置为相同的清晰度,也可以设置为不同的清晰度。
[0112]可选地,为了进一步提升显示效果,在依次扫描该人物图像区域中每一行像素点对应的人物标识的情况下,本实施例方法在根据该清晰度范围对该边界像素点对应的清晰度进行调整之后,进行人物图像渲染之前,还可以包括:
[0113]依次扫描该人物图像区域中每一列像素点的人物标识,以得到标识扫描结果;
[0114]根据该标识扫描结果确定人物图像区域中标识间断且不在该人物图像区域边界的间断像素点;
[0115]根据该人物标识对应的预设清晰度范围,对该人物图像区域内像素点对应的清晰度进行调整。
[0116]比如,可以逐行扫描图像区域的每一行像素点的人物标识确定间断像素点,然后,对间断像素点和边缘像素点的清晰度进行调整,再然后,逐列扫描图像区域的每一列像素点的人物标识再次确定间断像素点,再次对间断像素点和边缘像素点的清晰度进行调整;其中,再次对间断像素点和边缘像素点的清晰度进行调整的方式与之前的调整方式相同,此处不再赘述。
[0117]可选地,实际情况中,摄像头提供的图像分辨率往往大于人物所能达到的图像分辨率,此时,会有一部分像素是无效的,因此浪费终端系统资源;比如摄像头一般提供的图像分辨率为640*480,而当用户全身在摄像头范围内时,并展开双臂时,一般成年人也只能达到480*480,至少有120*480个像素是无效的;为了节省终端系统资源,本实施例可以对人物图像进行切图处理,比如从人物图像中切出分辨率为480*480的人物图像,也即本实施例方法中步骤“根据该渲染位置指示信息以及该像素点对应的调整后深度信息,在该目标渲染区域对该人物图像进行渲染”可以包括:
[0118]获取该人物在该人物图像中的位置;
[0119]根据该位置和预设图像分辨率对该人物图像进行切图处理,以得到该预设图像分辨率的目标人物图像;
[0120]根据该渲染位置指示信息以及该目标人物图像中像素点对应的调整后深度信息,在该目标渲染区域对该目标人物图像进行渲染。
[0121]具体地,步骤“根据该位置和预设图像分辨率对该人物图像进行切图处理”可以包括:
[0122]根据该位置确定切图位置;
[0123]根据该切图位置和预设图像分辨对该人物图像进行切图处理。
[0124]本实施例可以动态跟踪用户的位置,根据用户在人物图像中的实时位置来动态的调整切图位置,从而既保证了用户的活动范围,又可以避免处理无效的像素,节省终端系统资源。
[0125]例如,当预设图像分辨率为480*480,且人物位于图像中间时,参考图1b可以以图像中心点为切图点,在该切图点上下左右各取240个像素点,实现从人物图像中切出480*480的目标人物图像;又例如,当预设图像分辨率为480*480,且人物位于图像左边或者右边时参考图1c和ld,在人物图像左边或者右边确定相应的切图点,在该切图点上下左右各取240个像素点,实现从人物图像中切出480*480的目标人物图像。
[0126]由上可知,本发明实施例采用接收信息获取请求,然后,根据该信息获取请求获取人物的深度图像信息,该深度图像信息包括:人物图像、该人物图像中像素点的深度信息,获取渲染位置指示信息,该渲染位置指示信息指示交互界面中的目标渲染区域,根据该渲染位置指示信息和该像素点对应的深度信息,在该目标渲染区域对该人物图像进行渲染;该方案可以基于图像像素点的深度信息在目标区域对人物图像进行渲染,以模拟出身临其境的感觉,相对于现有技术而言,可以改善图像显示效果、提升了用户与终端之间的交互性。
[0127]实施例二、
[0128]根据实施例一所描述的方法,以下将举例作进一步详细说明。
[0129]在本实施例中,将以该图像处理装置具体集成在终端中为例进行说明。
[0130]其中,图像处理装置集成在终端的方式有多种,比如,可以以软件形式集成在终端中。
[0131]如图2a所示,一种图像处理方法,具体流程可以如下:
[0132]201、终端接收信息获取请求,并根据信息获取请求获取人物的深度图像信息。
[0133]比如,具体可以根据信息获取请求从终端本地的存储单元中获取深度图像信息。
[0134]其中,深度图像信息可以包括人物图像、人物图像中像素点的深度信息,像素点对应的人物标识等等。其中,该深度信息可以包括像素点对应的颜色信息、以及像素点对应的清晰度;该深度信息可以由深度摄像头生成。
[0135]该像素点对应的清晰度可以为像素点相对于该交互界面中背景图像的清晰度,也即像素点与交互界面背景图像的混合度;
[0136]本实施例中深度图像信息可以是由终端连接的深度摄像头采集到的深度图像信息,其中,该深度摄像头可以为体感摄像头等。
[0137]202、终端对人物图像进行预处理,以得到处理后的人物图像。
[0138]具体地,为了避免人物图像出现空洞以及图像边缘出现严重的锯齿,进而提升图像显示效果,本实施例可以检测出人物图像中标识间断的间断像素点,重新生成间断像素点的人物标识以及调整间断像素点的清晰度,另外,本实施还可以调整人物边缘像素点的清晰度,以平滑人物边缘;也即参考图2b,终端对人物图像进行预处理的过程可以包括:
[0139]2021,在该人物图像中确定人物图像区域。
[0140]比如,根据人物轮廓信息在人物图像中确定人物图像区域,该人物图像区域包含人物。
[0141]2022,根据该人物图像区域内像素点对应的人物标识,在该人物图像区域中确定标识间断的间断像素点。
[0142]具体地,可以依次扫描该人物图像区域中每一行像素点或者每一列像素点对应的人物标识,以得到标识扫描结果;
[0143]根据该标识扫描结果确定每一行或者每一列像素点中标识间断且不在该人物图像区域边界的间断像素点。
[0144]比如,可以逐行扫描人物图像区域的每一行像素点对应的人物标识,然后,基于该扫描结果确定每一行像素点中标识间断且不在该人物图像区域边界的间断像素点。
[0145]2023,重新生成该间断像素点的人物标识。
[0146]比如,如果间断像素点原本对应的人物ID为O,此时,可以设置间断像素点对应的人物ID为1,其中像素点的ID为O代表背景图像像素点,像素点的ID为I代表该像素点为人物像素点。
[0147]2024,根据该人物标识对应的预设清晰度范围,对该人物图像区域内像素点对应的清晰度进行调整。
[0148]其中,人物标识对应的预设清晰度范围可以根据实际需求设定,比如,可以为0-150、0-255 等等。
[0149]具体地,调整过程可以包括:
[0150]从该预设清晰度范围内选取目标清晰度;
[0151]根据该目标清晰度对人物图像区域内像素点对应的清晰度进行调整。
[0152]例如,当预设清晰度范围为0-159时,可以将人物图像内像素点对应的清晰度设置为120。其中,目标清晰度选取方式可以多种,比如随机或者按照一定规则选取。
[0153]本实施例中人物图像区域内不同像素点对应的清晰度可以相同,也可以不同,具体可以根据实际情况设定。
[0154]2025,确定该人物图像区域中位于区域边界的边界像素点。
[0155]比如,可以确定人物图像区域每一行或者每一列的起始像素点或者结束像素点为边界像素点。
[0156]2026,根据该人物图像中背景图像区域像素点对应的清晰度以及该边界像素点当前对应的清晰度,获取相应的清晰度范围。
[0157]本实施例可以在人物图像中确定背景图像区域,然后,获取背景图像区域像素点对应的清晰度,以及边界像素点当前对应的清晰度,根据这两个清晰度构成一个清晰度范围;比如,背景图像区域像素点对应的清晰度为7,边界像素点当前的清晰度为198,此时,获取的清晰度范围为7-198。
[0158]2027,根据该清晰度范围对该边界像素点对应的清晰度进行调整。
[0159]比如,可以从清晰度范围中选取一个清晰度作为边界像素点的清晰度,清晰度选取方式可以多种,比如随机或者按照一定规则选取。其中,不同边界像素点对应的清晰度可以一致,也可以不一致。
[0160]可选地,为了进一步提升显示效果,依次扫描该人物图像区域中每一行像素点对应的人物标识,且对每一行中间断像素点的清晰度进行调整之后,本实施例方法还可以依次扫描人物图像区域的每一列像素点对应的人物标识,以得到间断像素点,然后,再次对间断像素点和边缘像素点的清晰度进行调整,也即终端对人物图像进行预处理的过程还可以包括:
[0161]依次扫描该人物图像区域中每一列像素点的人物标识,以得到标识扫描结果;
[0162]根据该标识扫描结果确定每一列像素点中标识间断且不在该人物图像区域边界的间断像素点;
[0163]根据该人物标识对应的预设清晰度范围,对该人物图像区域内像素点对应的清晰度进行调整;
[0164]再次确定每一列像素点中的边界像素点(如每一列像素点中的起始像素点和/或结束像素点),
[0165]根据该人物图像中背景图像区域像素点对应的清晰度以及该边界像素点当前对应的清晰度,获取相应的清晰度范围;
[0166]根据该清晰度范围对该边界像素点对应的清晰度进行调整。
[0167]203、终端获取人物的骨骼坐标,并将该骨骼坐标转换成图像坐标。
[0168]该人物的骨骼坐标可以由深度摄像头采集,如通过深度摄像头上的红外传感器来采集,获取骨骼坐标时,可以从本地存储单元中获取。由于骨骼坐标一般为三维位置坐标,因此,为了方便,本实施例可以将骨骼坐标转换成二维的图像坐标。
[0169]204、终端判断人物脚部对应的第一图像坐标点集合是否在第一预设坐标区域内,若是,执行步骤204,若否,则执行步骤206。
[0170]本实施例考虑到用户所在空间位置,不一定在合理位置范围内,例如用户所在位置离摄像头过近或摄像头仰角过高,将导致用户只有上半身在摄像头的拍摄范围内,如果将该图像直接渲染至交互界面中,会导致图像的显示效果不佳;因此,为了提升图像显示效果以及节省终端资源,本实施例可以在用户所在空间位置不在合理位置范围内,对像素点的深度信息(如清晰度)进行调整,以提醒用户其不在合理位置范围。
[0171]本实施例中,用户的合理位置范围可以根据人物的目标部位是否在人物图像中来定义;比如可以定义合理位置范围为:人物的头部在图像中、人物的脚部也在图像中或者在图像底部区域;因此,本实施例需要确定脚部和头部是否在图像中,以确定用户所在的空间位置是否在合理位置范围内。
[0172]为了加快判断速度,本实施例可以根据图像坐标集合中图像坐标点的坐标大小从该集合中选取一个目标图像坐标点,当判断该目标图像坐标点在预设坐标区域内,则默认为图像坐标点集合中所有坐标点均位于预设坐标区域;比如,可以从第一图像坐标点集合中选取Y值最大或者最小(视图像坐标系方向和原点而定)的坐标点作为目标图像坐标点;当该坐标点位于第一预设坐标区域内时,则确定脚部对应的第一图像坐标点集合位于第一预设坐标区域,也即人物的脚部在图像中;因此,步骤“终端判断人物脚部对应的第一图像坐标点集合是否在第一预设坐标区域内”可以包括:
[0173]终端根据该第一图像坐标点集合中图像坐标点对应的坐标值大小,从该第一图像坐标点集合中选取第一目标图像坐标点;
[0174]终端判断该第一目标图像坐标点的坐标值是否在第一预设坐标区域对应的第一坐标值范围内;
[0175]若是,则判定该第一图像坐标点集合位于第一预设坐标区域内;
[0176]若否,则判定该第一图像坐标点集合不位于第一预设坐标区域内。
[0177]其中,第一预设坐标区域可以基于人物图像的图像坐标点设定,比如,脚部对应的第一预设坐标区域可以为人物图像的底部坐标区域等等。
[0178]可选地,在实际应用中,当用户在合理范围的边界附近等情况下,由于骨骼坐标的抖动会造成误判断目标部位(如脚部或头部)不在人物图像内,因此,本实施例可以基于部位不在人物图像中的连续判断次数来避免此类情况出现,提高判断的精确性,比如在判断结果为目标部位不在人物图像中的连续判断次数大于一定值时,才确定该目标部位不在人物图像中;也即在确定第一图像坐标点集合不在该第一预设区域内之后,对该人物图像中像素点的深度信息进行调整之前(即步骤204和206之间),本实施例方法还可以包括:
[0179]终端获取第一图像坐标点集合不在第一预设坐标区域内的连续判断次数;
[0180]终端判断该连续判断次数是否大于预设次数;
[0181]若是,则执行步骤206。
[0182]205、终端判断人物头部对应的第二图像坐标点集合是否在第二预设坐标区域内,若否,则执行步骤207,若是,则执行步骤209。
[0183]同样,为加快判断速度,终端判断人物头部对应的图像坐标点集合是否在预设坐标区域内时,也可以根据坐标值大小从图像坐标点集合中选取一个目标图像坐标点,当判断该目标图像坐标点在预设坐标区域内,则默认为图像坐标点集合中所有坐标点均位于预设坐标区域;比如,可以从第二图像坐标点集合中选取Y值最小或者最大(与脚部对应的目标坐标点的坐标值相反)的坐标点作为目标图像坐标点;也即不足“终端判断人物头部对应的第二图像坐标点集合是否在第二预设坐标区域内”可以包括:
[0184]终端根据该第二图像坐标点集合中图像坐标点对应的坐标值大小,从该第二图像坐标点集合中选取第二目标图像坐标点;
[0185]终端判断该第二目标图像坐标点的坐标值是否在第二预设坐标区域对应的第二坐标值范围内;
[0186]若是,则判定该第二图像坐标点集合位于第二预设坐标区域内;
[0187]若否,则判定该第二图像坐标点集合不位于第二预设坐标区域内。
[0188]其中,第二预设坐标区域可以基于人物图像的图像坐标点设定,比如,头部对应的第二预设坐标区域可以为人物图像的顶部坐标区域或者整张人物图像对应的坐标区域等等。
[0189]可选地,在实际应用中,当用户在合理范围的边界附近等情况下,由于骨骼坐标的抖动会造成误判断目标部位(如脚部或头部)不在人物图像内,因此,本实施例可以基于部位不在人物图像中的连续判断次数来避免此类情况出现,提高判断的精确性,比如在判断结果为目标部位不在人物图像中的连续判断次数大于一定值时,才确定该目标部位不在人物图像中;也即在确定第二图像坐标点集合不在该第二预设区域内之后,对该人物图像中像素点的深度信息进行调整之前(即步骤205和207之间),本实施例方法还可以包括:
[0190]终端获取第二图像坐标点集合不在第二预设坐标区域内的连续判断次数;
[0191 ]终端判断该连续判断次数是否大于预设次数;
[0192]若是,则执行步骤207。
[0193]206、终端获取第一图像坐标集合中图像坐标点与第一预设坐标区域之间的偏移信息,并根据该偏移信息对该人物图像中像素点的清晰度进行调整,以得到调整后深度信息,转步骤208。
[0194]其中,偏移信息可以包括偏移方向、偏移距离等等,该偏移距离可以由坐标点的坐标值与预设坐标区域对应的坐标值范围之间的差值得到。
[0195]具体地,步骤“终端获取第一图像坐标集合中图像坐标点与第一预设坐标区域之间的偏移信息”可以包括:终端获取第一目标图像坐标点与第一预设坐标区域之间的偏移
?目息O
[0196]例如,获取第一目标图像坐标点与第一预设坐标区域中心坐标点或者边界坐标点(即处于第一预设坐标区域边界的坐标点)之间的偏移距离和偏移方向等。
[0197]具体地,本实施例根据偏移信息调整清晰度的方式有多种,比如,可以根据偏移信息获取相应的目标清晰度,然后,根据该目标清晰度对该人物图像中像素点的清晰度进行调整。其中,人物图像中不同像素点可以调整为相同清晰度,也可以调整为不同的清晰度。
[0198]可选地,为了提高清晰度的稳定性和图像显示效果,可以对清晰度进行低通滤波,也即步骤“根据该偏移信息对该人物图像中像素点对应的清晰度进行调整”可以包括:
[0199]根据该偏移信息获取相应的目标清晰度;
[0200]判断该目标清晰度是否在预设阈值范围内;
[0201]若是,则根据该目标清晰度对该人物图像中像素点对应的清晰度进行调整;
[0202]若否,则可以过滤掉该目标清晰度。
[0203]207、终端获取第二图像坐标集合中图像坐标点与第二预设坐标区域之间的偏移信息,并根据该偏移信息对该人物图像中像素点的清晰度进行调整,以得到调整后深度信息,转步骤208。
[0204]其中,偏移信息可以包括偏移方向、偏移距离等等,该偏移距离可以由坐标点的坐标值与预设坐标区域对应的坐标值范围之间的差值得到。
[0205]具体地,步骤“终端获取第二图像坐标集合中图像坐标点与第一预设坐标区域之间的偏移信息”可以包括:终端获取第二目标图像坐标点与第二预设坐标区域之间的偏移
?目息O
[0206]例如,获取第二目标图像坐标点与第二预设坐标区域中心坐标点或者边界坐标点(即处于第二预设坐标区域边界的坐标点)之间的偏移距离和偏移方向等。
[0207]具体地,本实施例根据偏移信息调整清晰度的方式有多种,比如,可以根据偏移信息获取相应的目标清晰度,然后,根据该目标清晰度对该人物图像中像素点的清晰度进行调整。其中,人物图像中不同像素点可以调整为相同清晰度,也可以调整为不同的清晰度。
[0208]同样,为了提高清晰度的稳定性和图像显示效果,可以对清晰度进行低通滤波,比如,根据第二目标图像坐标点与第二预设坐标区域之间的偏移信息获取相应的目标清晰度,然后,判断该目标清晰度是否在预设阈值范围内,若否,则过滤掉,若是,则根据目标清晰度调整深度信息。
[0209]208、终端根据获取人物在该人物图像中的位置,并根据该位置和预设图像分辨率对该人物图像进行切图处理,以得到该预设图像分辨率的目标人物图像。
[0210]在实际情况中,摄像头提供的图像分辨率往往大于人物所能达到的图像分辨率,此时,会有一部分像素是无效的,因此浪费终端系统资源;比如摄像头一般提供的图像分辨率为640*480,而当用户全身在摄像头范围内时,并展开双臂时,一般成年人也只能达到480*480,至少有120*480个像素是无效的;为了节省终端系统资源,本实施例可以对人物图像进行切图处理,考虑到如果在固定位置切图的话(例如在图像中心点左右各取240),相当于将摄像头的范围强行缩小,更加缩小了用户的活动范围,因此,本实施例可以基于人物在图像中的位置来进行切图;也即步骤“根据该位置和预设图像分辨率对该人物图像进行切图处理”可以包括:
[0211 ]根据该位置确定切图位置;
[0212]根据该切图位置和预设图像分辨对该人物图像进行切图处理。
[0213]本实施例可以动态跟踪用户的位置,根据用户在人物图像中的实时位置来动态的调整切图位置,从而既保证了用户的活动范围,又可以避免处理无效的像素,节省终端系统资源。
[0214]例如,当预设图像分辨率为580*580,且人物位于图像中间时,可以以图像中心点为切图点,在该切图点上下左右各取290个像素点,实现从人物图像中切出580*580的目标人物图像;又例如,当预设图像分辨率为380*380,且人物位于图像左边或者右边时,在人物图像左边或者右边确定相应的切图点,在该切图点上下左右各取190个像素点,实现从人物图像中切出380*380的目标人物图像。
[0215]209、终端根据渲染位置指示信息以及该目标人物图像中像素点对应的深度信息,在目标渲染区域对该目标人物图像进行渲染。
[0216]其中,渲染位置指示信息指示交互界面中的目标渲染区域,该目标选入区域可以根据实际需求设定,比如,可以为交互界面的中央区域等;参考图2c,可以在游戏的虚拟场景中间区域渲染人物图像。
[0217]该深度信息可以包括:像素点对应的颜色信息和清晰度;此时,终端可以根据渲染位置指示信息、目标人物图像中像素点对应的颜色信息以及清晰度,在目标渲染区域对目标人物图像进行渲染。
[0218]由上可知,本发明实施例采用接收信息获取请求,然后,根据该信息获取请求获取人物的深度图像信息,该深度图像信息包括:人物图像、该人物图像中像素点的深度信息,获取渲染位置指示信息,该渲染位置指示信息指示交互界面中的目标渲染区域,根据该渲染位置指示信息和该像素点对应的深度信息,在该目标渲染区域对该人物图像进行渲染;该方案可以基于图像像素点的深度信息在目标区域对人物图像进行渲染,以模拟出身临其境的感觉,相对于现有技术而言,可以改善图像显示效果、提升了用户与终端之间的交互性。
[0219]实施例三、
[0220]为了更好地实施以上方法,本发明实施例还提供一种图像处理装置,如图3a所示,该图像处理装置可以包括接收单元301、第一获取单元302、第二获取单元303和渲染单元304,如下:
[0221](^接收单元加丄;
[0222]接收单元301,用于接收信息获取请求。
[0223](2)第一获取单元302;
[0224]第一获取单元302,用于根据该信息获取请求获取人物的深度图像信息,该深度图像信息包括:人物图像、该人物图像中像素点的深度信息。
[0225]例如,第一获取单元302可以从本地存储单元中获取深度图像信息。
[0226]该深度图像信息可以是由深度摄像头采集到的深度图像信息,其中,该深度摄像头可以为体感摄像头等。
[0227]本实施例深度图像信息可以包括人物图像、人物图像中像素点的深度信息,像素点对应的人物标识等等。其中,该深度信息可以包括像素点对应的颜色信息、以及像素点对应的清晰度。
[0228](3)第二获取单元303;
[0229]第二获取单元303,用于获取渲染位置指示信息,该渲染位置指示信息指示交互界面中的目标渲染区域。
[0230]其中,获取渲染位置指示信息可以基于用户预设设置的渲染位置信息生成,或者也可以基于交互界面中背景图像生成。
[0231]本实施例中,目标渲染区域可以根据实际需求设定,比如,可以为游戏交互界面的中央区域、上方区域等等
[0232](4)渲染单元 304;
[0233]渲染单元304,用于根据该渲染位置指示信息和该像素点对应的深度信息,在该目标渲染区域对该人物图像进行渲染。
[0234]具体地,该渲染单元304可以包括:第一确定子单元,调整子单元以及渲染子单元;
[0235]该第一确定子单元,用于确定该人物的第一目标部位是否在该人物图像中;
[0236]该调整子单元,用于在确定第一目标部位不在该人物图像中,对该人物图像中像素点的深度信息进行调整,以得到调整后深度信息;
[0237]该渲染子单元,用于根据该渲染位置指示信息以及该像素点对应的调整后深度信息,在该目标渲染区域对该人物图像进行渲染。
[0238]比如,该第一确定子单元,具体用于:
[0239]获取该人物的骨骼坐标,并将该骨骼坐标转换成图像坐标;
[0240]获取第一目标部位对应的图像坐标点集合;
[0241]判断该图像坐标点集合中图像坐标点是否均在预设坐标区域内;
[0242]若是,则确定该人物的第一目标部位在该人物图像中;
[0243]若否,则确定该人物的第一目标部位不在该人物图像中。
[0244]具体地,第一确定子单元,可以具体用于:
[0245]根据该图像坐标点集合中图像坐标点对应的坐标值大小,从该图像坐标点集合中选取目标图像坐标点;
[0246]判断该目标图像坐标点的坐标值是否在预设坐标区域对应的坐标值范围内;
[0247]若是,则判定该图像坐标点集合中图像坐标点均在预设坐标区域内;
[0248]若否,则判定该图像坐标点集合中图像坐标点不均在预设坐标区域内
[0249]本实施例调整子单元,可以具体用于:
[0250]获取该图像坐标点集合中图像坐标点与该预设坐标区域之间的偏移信息;
[0251 ]根据该偏移信息对该人物图像中像素点的深度信息进行调整。
[0252]本实施例中,该深度信息包括:像素点对应的清晰度;该清晰度为该像素点相对于该交互界面中背景图像的清晰度;
[0253]此时,该调整子单元,可以具体用于根据该偏移信息对该人物图像中像素点对应的清晰度进行调整。
[0254]比如,为了提高图像清晰度的稳定性和显示效果,该调整子单元,可以用于:
[0255]根据该偏移信息获取相应的目标清晰度;
[0256]判断该目标清晰度是否在预设阈值范围内;
[0257]若是,则根据该目标清晰度对该人物图像中像素点对应的清晰度进行调整。
[0258]可选地,为提高图像清晰度的稳定性以及显示效果,本实施例可以对清晰度进行低通滤波,也即本实施例中渲染单元304还可以包括:次数判断子单元;
[0259]该次数判断子单元,用于在第一确定子单元确定第一目标部位不在该人物图像中之后,调整子单元对该人物图像中像素点的深度信息进行调整之前,获取当前该第一目标部位不在该人物图像中的连续确定次数,判断该连续确定次数是否大于预设次数;
[0260]该调整子单元,具体用于在该次数判断子单元判断为是时,对该人物图像中像素点的深度信息进行调整。
[0261 ]可选地,本实施例中渲染单元304还包括:第二确定子单元;
[0262]该第二确定子单元,用于在第一确定子单元确定该人物的第一目标部位在该人物图像中时,确定该人物的第二目标部位是否在该人物图像中;
[0263]此时,该调整子单元,还用于在该第二确定子单元确定该第二目标部位不在人物图像中时,对该人物图像中像素点的深度信息进行调整,以得到调整后深度信息。
[0264]可选地,为填充图像中的空洞,提高图像显示效果,本实施例可以对人物图进行预处理,具体地,在该深度图像信息还包括:该像素点对应的人物标识,该深度信息包括:该像素点对应的清晰度的情况下;参考图3b,图像处理装置还可以包括:
[0265]区域确定单元305,用于在第一获取单元获取深度图像信息之后,渲染单元渲染人物图像之前,在该人物图像中确定人物图像区域;
[0266]像素确定单元306,用于根据该人物图像区域内像素点对应的人物标识,在该人物图像区域中确定标识间断的间断像素点;
[0267]标识处理单元307,用于重新生成该间断像素点的人物标识;
[0268]第一清晰度调整单元308,用于根据该人物标识对应的预设清晰度范围,对该人物图像区域内像素点对应的清晰度进行调整。
[0269]比如,像素确定单元306,可以具体用于:
[0270]依次扫描该人物图像区域中每一行像素点或者每一列像素点对应的人物标识,以得到标识扫描结果;
[0271]根据该标识扫描结果确定每一行或者每一列像素点中间断且不在该人物图像区域边界的间断像素点。
[0272]可选地,本实施例装置还可以包括:边界像素点处理单元;
[0273]该边界像素点处理单元,具体用于:
[0274]在第一清晰度调整单元308调整清晰度之后,渲染单元304对该人物图像进行渲染之前,确定该人物图像区域中位于区域边界的边界像素点;
[0275]根据该人物图像中背景图像区域像素点对应的清晰度以及该边界像素点当前对应的清晰度,获取相应的清晰度范围
[0276]根据该清晰度范围对该边界像素点对应的清晰度进行调整。
[0277]可选地,为节省系统资源,本实施例还可以对人物图像进行分辨率进行处理,也即本实施例中该渲染子单元304,具体可以用于:
[0278]获取该人物在该人物图像中的位置;
[0279]根据该位置和预设图像分辨率对该人物图像进行切图处理,以得到该预设图像分辨率的目标人物图像;
[0280]根据该渲染位置指示信息以及该目标人物图像中像素点对应的调整后深度信息,在该目标渲染区域对该目标人物图像进行渲染。具体实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元的具体实施可参见前面的方法实施例,在此不再赘述。
[0281]该图像处理装置可以作为独立的实体,也可以集成在终端中,该终端具体可以包括手机、平板电脑、智能电视、游戏盒子、笔记本电脑或PC等设备中。
[0282]由上可知,由上可知,本发明实施例采用接收单元301接收信息获取请求,然后,第一获取单元302根据该信息获取请求获取人物的深度图像信息,该深度图像信息包括:人物图像、该人物图像中像素点的深度信息,第二获取单元303获取渲染位置指示信息,该渲染位置指示信息指示交互界面中的目标渲染区域,渲染单元304根据该渲染位置指示信息和该像素点对应的深度信息,在该目标渲染区域对该人物图像进行渲染;该方案可以基于图像像素点的深度信息在目标区域对人物图像进行渲染,以模拟出身临其境的感觉,相对于现有技术而言,可以改善图像显示效果、提升了用户与终端之间的交互性。
[0283]实施例四、
[0284]相应的,本发明实施例还提供一种终端,如图4所示,该终端可以包括射频(RF,Rad1 Frequency)电路401、包括有一个或一个以上计算机可读存储介质的存储器402、输入单元403、显示单元404、传感器405、音频电路406、无线保真(WiFi ,Wireless Fidelity)模块407、包括有一个或者一个以上处理核心的处理器408、以及电源409等部位。本领域技术人员可以理解,图4中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部位,或者组合某些部位,或者不同的部位布置。其中:
[0285]RF电路401可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,交由一个或者一个以上处理器408处理;另外,将涉及上行的数据发送给基站。通常,RF电路401包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM,Subscriber Identity Module)卡、收发信机、親合器、低噪声放大器(LNA,Low Noise Amplif ier)、双工器等。此外,RF电路401还可以通过无线通信与网络和其他设备通信。该无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(GSM,Global System of Mobile communicat1n)、通用分组无线服务(GPRS,GeneralPacket Rad1 Service)、码分多址(CDMA,Code Divis1n Multiple Access)、宽带码分多址(WCDMA,Wideband Code Divis1n Multiple Access)、长期演进(LTE,Long TermEvolut1n)、电子邮件、短消息服务(SMS,Short Messaging Service)等。
[0286]存储器402可用于存储软件程序以及模块,处理器408通过运行存储在存储器402的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据终端的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器408和输入单元403对存储器402的访问。
[0287]输入单元403可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地,在一个具体的实施例中,输入单元403可包括触敏表面以及其他输入设备。触敏表面,也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触敏表面可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器408,并能接收处理器408发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面,输入单元403还可以包括其他输入设备。具体地,其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
[0288]显示单元404可用于显示由用户输入的信息或提供给用户的信息以及终端的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元404可包括显示面板,可选的,可以采用液晶显示器(LCD,Liquid Crystal Display)、有机发光二极管(0LED,Organic Light-Emitting D1de)等形式来配置显示面板。进一步的,触敏表面可覆盖显示面板,当触敏表面检测到在其上或附近的触摸操作后,传送给处理器408以确定触摸事件的类型,随后处理器408根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图4中,触敏表面与显示面板是作为两个独立的部位来实现输入和输入功能,但是在某些实施例中,可以将触敏表面与显示面板集成而实现输入和输出功能。
[0289]终端还可包括至少一种传感器405,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板的亮度,接近传感器可在终端移动到耳边时,关闭显示面板和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于终端还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
[0290]音频电路406、扬声器,传声器可提供用户与终端之间的音频接口。音频电路406可将接收到的音频数据转换后的电信号,传输到扬声器,由扬声器转换为声音信号输出;另一方面,传声器将收集的声音信号转换为电信号,由音频电路406接收后转换为音频数据,再将音频数据输出处理器408处理后,经RF电路401以发送给比如另一终端,或者将音频数据输出至存储器402以便进一步处理。音频电路406还可能包括耳塞插孔,以提供外设耳机与终端的通信。
[0291]WiFi属于短距离无线传输技术,终端通过WiFi模块407可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图4示出了WiFi模块407,但是可以理解的是,其并不属于终端的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
[0292]处理器408是终端的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行终端的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器408可包括一个或多个处理核心;优选的,处理器408可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器408中。
[0293]终端还包括给各个部位供电的电源409(比如电池),优选的,电源可以通过电源管理系统与处理器408逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源409还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
[0294]尽管未示出,终端还可以包括摄像头、蓝牙模块等,在此不再赘述。具体在本实施例中,终端中的处理器408会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中,并由处理器408来运行存储在存储器402中的应用程序,从而实现各种功能:
[0295]接收信息获取请求;
[0296]根据该信息获取请求获取人物的深度图像信息,该深度图像信息包括:人物图像、该人物图像中像素点的深度信息;
[0297]获取渲染位置指示信息,该渲染位置指示信息指示交互界面中的目标渲染区域;
[0298]根据该渲染位置指示信息和该像素点对应的深度信息,在该目标渲染区域对该人物图像进行渲染。
[0299]可选地,该步骤“根据该渲染位置指示信息和该像素点对应的深度信息,在该目标渲染区域对该人物图像进行渲染”可以包括:
[0300]确定该人物的第一目标部位是否在该人物图像中;
[0301 ]若否,则对该人物图像中像素点的深度信息进行调整,以得到调整后深度信息;
[0302]根据该渲染位置指示信息以及该像素点对应的调整后深度信息,在该目标渲染区域对该人物图像进行渲染。
[0303]其中,步骤“确定人物的第一目标部位是否在该人物图像”可以包括:
[0304]获取该人物的骨骼坐标,并将该骨骼坐标转换成图像坐标;
[0305]获取第一目标部位对应的图像坐标点集合;
[0306]判断该图像坐标点集合中图像坐标点是否均在预设坐标区域内;
[0307]若是,则确定该人物的第一目标部位在该人物图像中;
[0308]若否,则确定该人物的第一目标部位不在该人物图像中。
[0309]此外,处理器408,还可以实现如下功能:
[0310]在获取深度图像信息之后,对该人物图像进行渲染之前,在该人物图像中确定人物图像区域;
[0311]根据该人物图像区域内像素点对应的人物标识,在该人物图像区域中确定标识间断的间断像素点;
[0312 ]重新生成该间断像素点的人物标识;
[0313]根据该人物标识对应的预设清晰度范围,对该人物图像区域内像素点对应的清晰度进行调整。
[0314]在根据该预设清晰度范围对该人物图像区域内像素点对应的清晰度进行调整之后,对该人物图像进行渲染之前,确定该人物图像区域中位于区域边界的边界像素点;
[0315]根据该人物图像中背景图像区域像素点对应的清晰度以及该边界像素点当前对应的清晰度,获取相应的清晰度范围
[0316]根据该清晰度范围对该边界像素点对应的清晰度进行调整。
[0317]以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
[0318]由上可知,本发明实施例采用接收信息获取请求,然后,根据该信息获取请求获取人物的深度图像信息,该深度图像信息包括:人物图像、该人物图像中像素点的深度信息,获取渲染位置指示信息,该渲染位置指示信息指示交互界面中的目标渲染区域,根据该渲染位置指示信息和该像素点对应的深度信息,在该目标渲染区域对该人物图像进行渲染;该方案可以基于图像像素点的深度信息在目标区域对人物图像进行渲染,以模拟出身临其境的感觉,相对于现有技术而言,可以改善图像显示效果、提升了用户与终端之间的交互性。
[0319]本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(R0M,Read Only Memory)、随机存取记忆体(RAM,RandomAccess Memory)、磁盘或光盘等。
[0320]以上对本发明实施例所提供的一种图像处理方法和装置进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在【具体实施方式】及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
【主权项】
1.一种图像处理方法,其特征在于,包括: 接收息获取请求; 根据所述信息获取请求获取人物的深度图像信息,所述深度图像信息包括:人物图像、所述人物图像中像素点的深度信息; 获取渲染位置指示信息,所述渲染位置指示信息指示交互界面中的目标渲染区域; 根据所述渲染位置指示信息和所述像素点对应的深度信息,在所述目标渲染区域对所述人物图像进行渲染。2.如权利要求1所述的图像处理方法,其特征在于,所述根据所述渲染位置指示信息和所述像素点对应的深度信息,在所述目标渲染区域对所述人物图像进行渲染的步骤具体包括: 确定所述人物的第一目标部位是否在所述人物图像中; 若否,则对所述人物图像中像素点的深度信息进行调整,以得到调整后深度信息;根据所述渲染位置指示信息以及所述像素点对应的调整后深度信息,在所述目标渲染区域对所述人物图像进行渲染。3.如权利要求2所述的图像处理方法,其特征在于,所述确定人物的第一目标部位是否在所述人物图像的步骤具体包括: 获取所述人物的骨骼坐标,并将所述骨骼坐标转换成图像坐标; 获取第一目标部位对应的图像坐标点集合; 判断所述图像坐标点集合中图像坐标点是否均在预设坐标区域内; 若是,则确定所述人物的第一目标部位在所述人物图像中; 若否,则确定所述人物的第一目标部位不在所述人物图像中。4.如权利要求3所述的图像处理方法,其特征在于,所述判断所述图像坐标点集合中图像坐标点是否均在预设坐标区域内的步骤具体包括: 根据所述图像坐标点集合中图像坐标点对应的坐标值大小,从所述图像坐标点集合中选取目标图像坐标点; 判断所述目标图像坐标点的坐标值是否在预设坐标区域对应的坐标值范围内; 若是,则判定所述图像坐标点集合中图像坐标点均在预设坐标区域内; 若否,则判定所述图像坐标点集合中图像坐标点不均在预设坐标区域内。5.如权利要求3所述的图像处理方法,其特征在于,所述对所述人物图像中像素点的深度信息进行调整的步骤具体包括: 获取所述图像坐标点集合中图像坐标点与所述预设坐标区域之间的偏移信息; 根据所述偏移信息对所述人物图像中像素点的深度信息进行调整。6.如权利要求5所述的图像处理方法,其特征在于,所述深度信息包括:像素点对应的清晰度;所述清晰度为所述像素点相对于所述交互界面中背景图像的清晰度; 所述根据所述偏移信息对所述人物图像中像素点的深度信息进行调整的步骤具体包括:根据所述偏移信息对所述人物图像中像素点对应的清晰度进行调整。7.如权利要求6所述的图像处理方法,其特征在于,所述根据所述偏移信息对所述人物图像中像素点对应的清晰度进行调整的步骤具体包括: 根据所述偏移信息获取相应的目标清晰度; 判断所述目标清晰度是否在预设阈值范围内; 若是,则根据所述目标清晰度对所述人物图像中像素点对应的清晰度进行调整。8.如权利要求2-7任一项所述的图像处理方法,其特征在于,在确定第一目标部位不在所述人物图像中之后,对所述人物图像中像素点的深度信息进行调整之前,所述图像处理方法还包括: 获取当前所述第一目标部位不在所述人物图像中的连续确定次数; 判断所述连续确定次数是否大于预设次数; 若是,则执行对所述人物图像中像素点的深度信息进行调整的步骤。9.如权利要求2所述的图像处理方法,其特征在于,所述根据所述渲染位置指示信息和所述像素点对应的深度信息,在所述目标渲染区域对所述人物图像进行渲染的步骤还包括: 当确定所述人物的第一目标部位在所述人物图像中时,确定所述人物的第二目标部位是否在所述人物图像中; 若否,则对所述人物图像中像素点的深度信息进行调整,以得到调整后深度信息;根据所述渲染位置指示信息以及所述像素点对应的调整后深度信息,在所述目标渲染区域对所述人物图像进行渲染。10.如权利要求1所述的图像处理方法,其特征在于,所述深度图像信息还包括:所述像素点对应的人物标识,所述深度信息包括:所述像素点对应的清晰度; 在获取深度图像信息之后,对所述人物图像进行渲染之前,所述图像处理方法还包括: 在所述人物图像中确定人物图像区域; 根据所述人物图像区域内像素点对应的人物标识,在所述人物图像区域中确定标识间断的间断像素点; 重新生成所述间断像素点的人物标识; 根据所述人物标识对应的预设清晰度范围,对所述人物图像区域内像素点对应的清晰度进行调整。11.如权利要求10所述的图像处理方法,其特征在于,所述根据所述人物图像区域内像素点对应的人物标识,在所述人物图像区域中确定人物标识间断的间断像素点的步骤具体包括: 依次扫描所述人物图像区域中每一行像素点或者每一列像素点对应的人物标识,以得到标识扫描结果; 根据所述标识扫描结果确定每一行或者每一列像素点中间断且不在所述人物图像区域边界的间断像素点。12.如权利要求10所述的图像处理方法,其特征在于,在根据所述预设清晰度范围对所述人物图像区域内像素点对应的清晰度进行调整之后,对所述人物图像进行渲染之前,所述图像处理方法还包括: 确定所述人物图像区域中位于区域边界的边界像素点; 根据所述人物图像中背景图像区域像素点对应的清晰度以及所述边界像素点当前对应的清晰度,获取相应的清晰度范围 根据所述清晰度范围对所述边界像素点对应的清晰度进行调整。13.如权利要求2所述的图像处理方法,其特征在于,所述根据所述渲染位置指示信息以及所述像素点对应的调整后深度信息,在所述目标渲染区域对所述人物图像进行渲染的步骤具体包括: 获取所述人物在所述人物图像中的位置; 根据所述位置和预设图像分辨率对所述人物图像进行切图处理,以得到所述预设图像分辨率的目标人物图像; 根据所述渲染位置指示信息以及所述目标人物图像中像素点对应的调整后深度信息,在所述目标渲染区域对所述目标人物图像进行渲染。14.一种图像处理装置,其特征在于,包括: 接收单元,用于接收信息获取请求; 第一获取单元,用于根据所述信息获取请求获取人物的深度图像信息,所述深度图像信息包括:人物图像、所述人物图像中像素点的深度信息; 第二获取单元,用于获取渲染位置指示信息,所述渲染位置指示信息指示交互界面中的目标渲染区域; 渲染单元,用于根据所述渲染位置指示信息和所述像素点对应的深度信息,在所述目标渲染区域对所述人物图像进行渲染。15.如权利要求14所述的图像处理装置,其特征在于,所述渲染单元,包括:第一确定子单元,调整子单元以及渲染子单元; 所述第一确定子单元,用于确定所述人物的第一目标部位是否在所述人物图像中; 所述调整子单元,用于在确定第一目标部位不在所述人物图像中,对所述人物图像中像素点的深度信息进行调整,以得到调整后深度信息; 所述渲染子单元,用于根据所述渲染位置指示信息以及所述像素点对应的调整后深度信息,在所述目标渲染区域对所述人物图像进行渲染。16.如权利要求15所述的图像处理装置,其特征在于,所述第一确定子单元,具体用于: 获取所述人物的骨骼坐标,并将所述骨骼坐标转换成图像坐标; 获取第一目标部位对应的图像坐标点集合; 判断所述图像坐标点集合中图像坐标点是否均在预设坐标区域内; 若是,则确定所述人物的第一目标部位在所述人物图像中; 若否,则确定所述人物的第一目标部位不在所述人物图像中。17.如权利要求16所述的图像处理装置,其特征在于,所述调整子单元,具体用于: 获取所述图像坐标点集合中图像坐标点与所述预设坐标区域之间的偏移信息; 根据所述偏移信息对所述人物图像中像素点的深度信息进行调整。18.如权利要求17所述的图像处理装置,其特征在于,所述深度信息包括:像素点对应的清晰度;所述清晰度为所述像素点相对于所述交互界面中背景图像的清晰度; 所述调整子单元,具体用于根据所述偏移信息对所述人物图像中像素点对应的清晰度进行调整。19.如权利要求18所述的图像处理装置,其特征在于,所述调整子单元具体用于: 根据所述偏移信息获取相应的目标清晰度; 判断所述目标清晰度是否在预设阈值范围内; 若是,则根据所述目标清晰度对所述人物图像中像素点对应的清晰度进行调整。20.如权利要求15所述的图像处理装置,其特征在于,所述渲染单元还包括:次数判断子单元; 所述次数判断子单元,用于在第一确定子单元确定第一目标部位不在所述人物图像中之后,调整子单元对所述人物图像中像素点的深度信息进行调整之前,获取当前所述第一目标部位不在所述人物图像中的连续确定次数,判断所述连续确定次数是否大于预设次数; 所述调整子单元,具体用于在所述次数判断子单元判断为是时,对所述人物图像中像素点的深度信息进行调整。21.如权利要求15所述的图像处理装置,其特征在于,所述渲染单元还包括:第二确定子单元; 所述第二确定子单元,用于在第一确定子单元确定所述人物的第一目标部位在所述人物图像中时,确定所述人物的第二目标部位是否在所述人物图像中; 所述调整子单元,还用于在所述第二确定子单元确定所述第二目标部位不在人物图像中时,对所述人物图像中像素点的深度信息进行调整,以得到调整后深度信息。22.如权利要求14所述的图像处理装置,其特征在于,所述深度图像信息还包括:所述像素点对应的人物标识,所述深度信息包括:所述像素点对应的清晰度;所述图像处理装置还包括: 区域确定单元,用于在第一获取单元获取深度图像信息之后,渲染单元渲染人物图像之前,在所述人物图像中确定人物图像区域; 像素确定单元,用于根据所述人物图像区域内像素点对应的人物标识,在所述人物图像区域中确定标识间断的间断像素点; 标识处理单元,用于重新生成所述间断像素点的人物标识; 第一清晰度调整单元,用于根据所述人物标识对应的预设清晰度范围,对所述人物图像区域内像素点对应的清晰度进行调整。23.如权利要求15所述的图像处理装置,其特征在于,所述渲染子单元,具体用于: 获取所述人物在所述人物图像中的位置; 根据所述位置和预设图像分辨率对所述人物图像进行切图处理,以得到所述预设图像分辨率的目标人物图像; 根据所述渲染位置指示信息以及所述目标人物图像中像素点对应的调整后深度信息,在所述目标渲染区域对所述目标人物图像进行渲染。
【文档编号】G06T15/20GK106097429SQ201610463857
【公开日】2016年11月9日
【申请日】2016年6月23日
【发明人】曹文升, 荆彦青, 魏学峰, 耿天平, 张冲
【申请人】腾讯科技(深圳)有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1