VR交互中显示大小控制的方法和装置与流程

文档序号:12888053阅读:648来源:国知局
VR交互中显示大小控制的方法和装置与流程

本发明涉及图像交互领域,特别涉及一种vr交互中显示大小控制的方法和装置。



背景技术:

随着虚拟现实技术(vr)的快速发展,虚拟共同空间社交成为了市场热点。目前,虚拟共同空间社交技术中还存在着诸多技术难点,尤其是社交参与人员相互之间的空间场景融入、以及处于不同空间人员融入共同虚拟空间场景时的真实比例问题。

一般情况下,摄像头采集图像时都存在着近大远小的现象,即当人或物距离摄像头较近时摄像头所采集的人和物就会相对较大,当人或物距离摄像头较远时所采集的人和物就会相对较小,如果直接将采集的人或物按照原始比例直接放入虚拟空间场景中,就会导致比例失衡和失真。



技术实现要素:

为此,需要提供一种vr交互中显示大小控制的技术方案,用以解决当不同人像融入到共同虚拟空间场景时,存在着人像比例不一致导致场景比例失衡、失真等问题。

为实现上述目的,发明人提供了一种vr交互中显示大小控制的装置,所述装置包括至少一个vr设备和服务器;所述vr设备与服务器连接;所述vr设备包括图像采集单元、存储单元、人像识别单元、人像调整单元、场景获取单元、图像融合单元、显示控制单元和显示单元;所述存储单元包括第一存储单元和第二存储单元;

所述图像采集单元用于采集位于预设位置的第一图像,所述第一图像包括第一人像信息;

所述人像识别单元用于从第一图像中提取出第一人像信息,并将第一人像信息参数存储于第一存储单元中;

所述图像采集单元还用于采集第二图像,所述第二图像为当前用户所在位置的图像信息,所述人像识别单元用于从第二图像中提取出第二人像信息,并将第二人像信息参数存储于第二存储单元中;

所述人像调整单元用于根据第二人像信息参数和第一人像信息参数的比例关系,确定缩放比例,并根据所述缩放比例对第二人像信息参数进行缩放,并依据缩放后的人像信息参数生成第三人像信息;

所述场景获取单元用于从服务器获取场景信息,所述图像融合单元用于对场景信息和第三人像信息进行合成,得到图像合成信息;

所述显示控制单元用于将图像合成信息传输至显示单元进行显示。

进一步地,所述人像调整单元还用于根据场景信息与人像信息的对应关系,将第三人像信息缩放为当前场景信息对应的比例,得到第四人像信息;所述图像融合单元用于对场景信息和第四人像信息进行合成,得到图像合成信息。

进一步地,所述vr设备的数量为多个,包括第一vr设备和第二vr设备,所述第一vr设备和第二vr设备连接;所述vr设备还包括通信单元;所述第一vr设备包括第一通信单元、第一人像识别单元、第一人像调整单元;所述第二vr设备包括第二通信单元、第二人像识别单元、第二人像调整单元;

所述第一通信单元用于将第一人像识别单元提取出的第二人像信息发送至第二通信单元;

所述第二人像调整单元用于将第二通信单元接收的来自第一人像识别单元提取出的第二人像信息、以及第二人像识别单元提取出的第二人像信息根据这两者与第一人像信息参数的比例对应关系,分别确定缩放比例,并根据对应的缩放比例进行缩放,得到包含有缩放后的第一人像和第二人像的第三人像信息;

或者,所述第一通信单元用于接收第二通信单元发送的第二人像识别单元提取出的第二人像信息发送;

所述第一人像调整单元用于将第二通信单元发送的的来自第二人像识别单元提取出的第二人像信息、以及第一人像识别单元提取出的第二人像信息根据这两者与第一人像信息参数的比例对应关系,分别确定缩放比例,并根据对应的缩放比例进行缩放,得到包含有缩放后的第一人像和第二人像的第三人像信息。

发明人还提供了一种vr交互中显示大小控制的方法,所述方法应用于vr交互中显示大小控制的装置,所述装置包括至少一个vr设备和服务器;所述vr设备与服务器连接;所述vr设备包括图像采集单元、存储单元、人像识别单元、人像调整单元、场景获取单元、图像融合单元、显示控制单元和显示单元;所述存储单元包括第一存储单元和第二存储单元;所述方法包括:

图像采集单元采集位于预设位置的第一图像,所述第一图像包括第一人像信息;

人像识别单元从第一图像中提取出第一人像信息,并将第一人像信息参数存储于第一存储单元中;

图像采集单元采集第二图像,人像识别单元从第二图像中提取出第二人像信息,并将第二人像信息参数存储于第二存储单元中;所述第二图像为当前用户所在位置的图像信息;

人像调整单元根据第二人像信息参数和第一人像信息参数的比例关系,确定缩放比例,并根据所述缩放比例对第二人像信息参数进行缩放,并依据缩放后的人像信息参数生成第三人像信息;

场景获取单元从服务器获取场景信息,图像融合单元对场景信息和第三人像信息进行合成,得到图像合成信息;

显示控制单元将图像合成信息传输至显示单元进行显示。

进一步地,所述方法还包括:

人像调整单元根据场景信息与人像信息的对应关系,将第三人像信息缩放为当前场景信息对应的比例,得到第四人像信息;

图像融合单元对场景信息和第四人像信息进行合成,得到图像合成信息。

进一步地,所述vr设备的数量为多个,包括第一vr设备和第二vr设备,所述第一vr设备和第二vr设备连接;所述vr设备还包括通信单元;所述第一vr设备包括第一通信单元、第一人像识别单元、第一人像调整单元;所述第二vr设备包括第二通信单元、第二人像识别单元、第二人像调整单元;所述方法包括:

第一通信单元将第一人像识别单元提取出的第二人像信息发送至第二通信单元;

第二人像调整单元将第二通信单元接收的来自第一人像识别单元提取出的第二人像信息、以及第二人像识别单元提取出的第二人像信息根据这两者与第一人像信息参数的比例对应关系,分别确定缩放比例,并根据对应的缩放比例进行缩放,得到包含有缩放后的第一人像和第二人像的第三人像信息;

或者,第一通信单元接收第二通信单元发送的第二人像识别单元提取出的第二人像信息发送;

第一人像调整单元将第二通信单元发送的的来自第二人像识别单元提取出的第二人像信息、以及第一人像识别单元提取出的第二人像信息根据这两者与第一人像信息参数的比例对应关系,分别确定缩放比例,并根据对应的缩放比例进行缩放,得到包含有缩放后的第一人像和第二人像的第三人像信息。

发明人还提供了另一种vr交互中显示大小控制的装置,所述装置包括多个vr设备;所述vr设备包括第三vr设备和第四vr设备;所述第三vr设备包括第三图像采集单元、第三存储单元、第三人像识别单元、第三人像调整单元、第三图像融合单元、第三显示控制单元、第三显示单元、场景生成单元、第三通信单元;所述第四vr设备包括第四图像采集单元、第四存储单元、第四人像识别单元、第四人像调整单元、第四图像融合单元、第四显示控制单元、第四显示单元、第四场景获取单元、第四通信单元;

所述第三图像采集单元用于采集位于预设位置的第一用户的第五图像,所述第五图像包括第五人像信息;

所述第三人像识别单元用于从第五图像中提取出第五人像信息,并将第五人像信息参数存储于第三存储单元中;

所述第三图像采集单元还用于采集第六图像,所述第六图像为当前第一用户所在位置的图像信息,所述第三人像识别单元用于从第六图像中提取出第六人像信息,并将第六人像信息参数存储于第三存储单元中;

所述第三通信单元用于接收第四通信单元发送的第二用户的第九人像信息,所述第九人像信息包括第九人像信息对应的人像信息参数;

所述第三人像调整单元用于根据第五人像信息参数和第六人像信息参数的比例关系,确定对应缩放比例,并根据所述缩放比例对第六人像信息参数进行缩放,以及用于根据第五人像信息参数和第九人像信息参数的比例关系,确定对应缩放比例,并根据所述缩放比例对第九人像信息参数进行缩放,生成第一人像综合信息,所述第一人像综合信息包含有缩放后的第六人像信息和缩放后的第九人像信息;

所述场景生成单元用于生成场景信息,所述第三图像融合单元用于对场景信息和第一人像综合信息进行合成,得到第一图像合成信息;

所述第三显示控制单元用于将第一图像合成信息传输至第三显示单元进行显示;

或者,所述第四图像采集单元用于采集位于预设位置的第二用户的第八图像,所述第八图像包括第八人像信息;

所述第四人像识别单元用于从第八图像中提取出第八人像信息,并将第八人像信息参数存储于第四存储单元中;

所述第四图像采集单元还用于采集第九图像,所述第九图像为当前第二用户所在位置的图像信息,所述第四人像识别单元用于从第九图像中提取出第九人像信息,并将第九人像信息参数存储于第四存储单元中;

所述第四通信单元用于发送第九人像信息至第三通信单元,以及用于接收第三通信单元发送的场景信息和第六人像信息,所述第六人像信息包括第六人像信息对应的人像信息参数;

所述第四人像调整单元用于根据第八人像信息参数和第九人像信息参数的比例关系,确定对应缩放比例,并根据对应的缩放比例对第九人像信息参数进行缩放,以及用于根据第六人像信息参数和第八人像信息参数的比例关系,确定对应缩放比例,并根据对应的缩放比例对第六人像信息参数进行缩放,生成第二人像综合信息,所述第二人像综合信息包含有缩放后的第六人像信息和缩放后的第九人像信息;

所述第四场景获取单元用于获取场景生成单元生成的场景信息,所述第四图像融合单元用于对场景信息和第二人像综合信息进行合成,得到第二图像合成信息;

所述第四显示控制单元用于将第二图像合成信息传输至第四显示单元进行显示。

进一步地,所述第三人像调整单元还用于根据场景信息与第一人像综合信息的对应关系,将第一人像综合信息缩放为当前场景信息对应的比例,得到第三人像综合信息;所述第三图像融合单元用于对场景信息和第三人像综合信息进行合成,得到第一图像合成信息;

所述第四人像调整单元还用于根据场景信息与第二人像综合信息的对应关系,将第二人像综合信息缩放为当前场景信息对应的比例,得到第四人像综合信息;所述第四图像融合单元用于对场景信息和第四人像综合信息进行合成,得到第二图像合成信息。

发明人还提供了另一种vr交互中显示大小控制的方法,所述方法应用于vr交互中显示大小控制的装置,所述装置包括多个vr设备;所述vr设备包括第三vr设备和第四vr设备;所述vr设备还包括通信单元;所述第三vr设备包括第三图像采集单元、第三存储单元、第三人像识别单元、第三人像调整单元、第三图像融合单元、第三显示控制单元、第三显示单元、场景生成单元;所述第四vr设备包括第四图像采集单元、第四存储单元、第四人像识别单元、第四人像调整单元、第四图像融合单元、第四显示控制单元、第四显示单元、第四场景获取单元;所述方法包括:

第三图像采集单元采集位于预设位置的第一用户的第五图像,所述第五图像包括第五人像信息;

第三人像识别单元从第五图像中提取出第五人像信息,并将第五人像信息参数存储于第三存储单元中;

第三图像采集单元采集第六图像,第三人像识别单元从第六图像中提取出第六人像信息,并将第六人像信息参数存储于第三存储单元中,所述第六图像为当前第一用户所在位置的图像信息;

第三通信单元接收第四通信单元发送的第二用户的第九人像信息,所述第九人像信息包括第九人像信息对应的人像信息参数;

第三人像调整单元根据第五人像信息参数和第六人像信息参数的比例关系,确定对应缩放比例,并根据所述缩放比例对第六人像信息参数进行缩放,以及根据第五人像信息参数和第九人像信息参数的比例关系,确定对应缩放比例,并根据所述缩放比例对第九人像信息参数进行缩放,生成第一人像综合信息,所述第一人像综合信息包含有缩放后的第六人像信息和缩放后的第九人像信息;

场景生成单元生成场景信息,所述第三图像融合单元用于对场景信息和第一人像综合信息进行合成,得到第一图像合成信息;

第三显示控制单元将第一图像合成信息传输至第三显示单元进行显示;

或者,方法包括:

第四图像采集单元采集位于预设位置的第二用户的第八图像,所述第八图像包括第八人像信息;

第四人像识别单元从第八图像中提取出第八人像信息,并将第八人像信息参数存储于第四存储单元中;

第四图像采集单元采集第九图像,第四人像识别单元从第九图像中提取出第九人像信息,并将第九人像信息参数存储于第四存储单元中,所述第九图像为当前第二用户所在位置的图像信息;

第四通信单元发送第九人像信息至第三通信单元,以及接收第三通信单元发送的场景信息和第六人像信息,所述第六人像信息包括第六人像信息对应的人像信息参数;

第四人像调整单元根据第八人像信息参数和第九人像信息参数的比例关系,确定对应缩放比例,并根据对应的缩放比例对第九人像信息参数进行缩放,以及根据第六人像信息参数和第八人像信息参数的比例关系,确定对应缩放比例,并根据对应的缩放比例对第六人像信息参数进行缩放,生成第二人像综合信息,所述第二人像综合信息包含有缩放后的第六人像信息和缩放后的第九人像信息;

第四场景获取单元获取场景生成单元生成的场景信息,第四图像融合单元对场景信息和第二人像综合信息进行合成,得到第二图像合成信息;

第四显示控制单元将第二图像合成信息传输至第四显示单元进行显示。

进一步地,所述方法包括:

第三人像调整单元根据场景信息与第一人像综合信息的对应关系,将第一人像综合信息缩放为当前场景信息对应的比例,得到第三人像综合信息;

第三图像融合单元对场景信息和第三人像综合信息进行合成,得到第一图像合成信息;

第四人像调整单元根据场景信息与第二人像综合信息的对应关系,将第二人像综合信息缩放为当前场景信息对应的比例,得到第四人像综合信息;第四图像融合单元对场景信息和第四人像综合信息进行合成,得到第二图像合成信息。

本发明具有以下优点:预先通过在预设位置统一采集获取用户的人像信息,得到一个预定的标准尺寸比例。这样,用户在使用vr设备过程中,无论用户位置如何,都可以将用户的人像信息转换为标准比例,而后再将转换后的人像信息与场景信息进行合成,并最终传输至vr进行显示。本发明很好地解决了虚拟空间社交参与人员的空间融入和不同空间人员融入共同虚拟空间时的真实比例不一致的问题,同时具备便于携带、低功耗等特点,在vr设备应用领域具有广阔的市场前景。

附图说明

图1为本发明一实施方式涉及的vr交互中显示大小控制的装置的示意图;

图2为本发明一实施方式涉及的vr交互中显示大小控制的装置的示意图;

图3为本发明另一实施方式涉及的vr交互中显示大小控制的装置的示意图;

图4为本发明另一实施方式涉及的vr交互中显示大小控制的方法的流程图;

图5为本发明另一实施方式涉及的vr交互中显示大小控制的方法的流程图;

图6为本发明另一实施方式涉及的vr交互中显示大小控制的方法的流程图;

图7为本发明另一实施方式涉及的vr交互中显示大小控制的方法的流程图;

附图标记说明:

101、vr设备;1011、第一vr设备;1012、第二vr设备;1013、第三vr设备;1014、第四vr设备;

102、服务器;

103、图像采集单元;113、第一图像采集单元;123、第二图像采集单元;133、第三图像采集单元;143、第四图像采集单元;

104、存储单元;114、第一存储单元;124、第二存储单元;134、第三存储单元;144、第四存储单元;

105、人像识别单元;115、第一人像识别单元;125、第二人像识别单元;135、第三人像识别单元;145、第四人像识别单元;

106、人像调整单元;116、第一人像调整单元;126、第二人像调整单元;136、第三人像调整单元;146、第四人像调整单元;

107、场景获取单元;117、第一场景获取单元;127、第二场景获取单元;147、第四场景获取单元;

108、图像融合单元;118、第一图像融合单元;128、第二图像融合单元;138、第三图像融合单元;148、第四图像融合单元;

109、显示控制单元;119、第一显示控制单元;129、第二显示控制单元;139、第三显示控制单元;149、第四显示控制单元;

110、显示单元;120、第一显示单元;130、第二显示单元;140、第三显示单元;150、第四显示单元;

111、通信单元;121、第一通信单元;131、第二通信单元;141、第三通信单元;151、第四通信单元;

112、场景生成单元。

具体实施方式

为详细说明技术方案的技术内容、构造特征、所实现目的及效果,以下结合具体实施例并配合附图详予说明。

请参阅图1,为本发明一实施方式涉及的vr交互中显示大小控制的装置的示意图。所述装置包括至少一个vr设备101和服务器102;所述vr设备101与服务器102连接;所述vr设备101包括图像采集单元103、存储单元104、人像识别单元105、人像调整单元106、场景获取单元107、图像融合单元108、显示控制单元109和显示单元110;所述存储单元104包括第一存储单元114和第二存储单元124。

所述图像采集单元103用于采集位于预设位置的第一图像。图像采集单元为具有图像采集功能的电子设备,如摄像头。预设位置为距离图像预设距离的位置,预设距离的大小可以根据实际需要确定。在使用过程中,用户可以立于预设距离位置,以便摄像头采集第一图像。所述第一图像包括第一人像信息,所述第一人像信息即为采集的处于预设位置的用户的人体图像。

所述人像识别单元105用于从第一图像中提取出第一人像信息,并将第一人像信息参数存储于第一存储单元114中。人像识别单元可以通过以下方式提取出第一人像信息:通过人体识别算法对第一图像中的人体进行识别,并将图像上人体之外的部分全部用单一纯色填充(比如纯蓝色),以方便进行color_key(颜色键控)操作,进而通过颜色键控操作将第一图像上人体部分和人体之外部分相分离,提取出第一人像信息。第一人像信息参数为表征第一人像信息的对应参数,包括身高参数、身宽参数等。

所述图像采集单元103还用于采集第二图像,所述第二图像为当前用户所在位置的图像信息,所述人像识别单元105用于从第二图像中提取出第二人像信息,并将第二人像信息参数存储于第二存储单元124中。在实际应用过程中,摄像头在采集第二图像时,用户不一定处于预设位置,即采集到的第二图像与第一图像比例不一定对应,因而需要对第二图像的比例进行调整。人像识别单元从第二图像中提取出第二人像信息的方式与提取第一人像信息的方式类似,此处不再赘述。所述第二人像信息参数包括采集的图像信息中用户对应的身高参数、身宽参数等。

所述人像调整单元106用于根据第二人像信息参数和第一人像信息参数的比例关系,确定缩放比例,并根据所述缩放比例对第二人像信息参数进行缩放,并依据缩放后的人像信息参数生成第三人像信息。例如用户提取出的第一人像信息中身高参数为1000个像素高度,而本次采集到的第二人像信息中身高参数为800个像素高度,则第二图像中第二人像信息与第一人像信息关于身高参数的比例为0.8。人像调整单元可以根据缩放比例,将第二人像信息参数还原回第一人像信息参数大小,生成第三人像信息,即将800像素高度的身高参数还原回1000像素高度并予以显示。也可以根据身高参数比与缩放比例的对应关系,确定身高参数对应的缩放比,例如当第二人像信息与第一人像信息关于身高参数的比例为0.8时,确定缩放比为1.5,则将当前第二人像信息的身高参数放大1.5倍后生成第三人像信息。身宽参数的缩放与身高参数类似,此处不再赘述。当然,在另一些实施例中,人像信息参数还可以包含一些其他参数,例如头部和身体的比例等,人像调整单元也可以对这些参数进行调整缩放,以生成第三人像信息。

所述场景获取单元107用于从服务器获取场景信息,所述图像融合单元108用于对场景信息和第三人像信息进行合成,得到图像合成信息。在本实施方式中,vr设备包括通信单元111,通信单元与服务器之间可以通过有线或无线的方式进行连接,场景信息可以事先存储于服务器对应的存储单元中,当服务器接收到vr设备发送的场景信息获取指令时,则将场景信息发送至vr设备。所述场景信息为vr数据流对应的背景数据流,即除了人像部分之外的其他数据流,例如可以是虚拟空间场景(包括学校、户外、室内、风景区等等)。图像融合单元108可以通过图像融合算法,将场景信息和和第三人像信息进行合成,图像融合算法目前已在vr领域得到广泛应用,此处不再赘述。

所述显示控制单元109用于将图像合成信息传输至显示单元110进行显示。这样,当用户佩戴vr设备时,就可以看到包含有比例缩放后的人像信息的图像合成信息,有效增强了用户体验。

在实际应用过程中,因为当前用户距离摄像头的不同,因而采集到的第二图像中人像信息也各不相同,为了解决比例不一致问题,因而需要对第二人像中的人像信息参数进行调整缩放,保证不同人像在同一虚拟空间场景中呈现的大小一致。对于不同的空间场景而言,人像信息与场景信息之间也存在着比例关系,因而需要对调整后的人像信息参数(即第三人像信息参数)再次进行调整,使之符合当前场景信息的需要。因而在某些实施例中,所述人像调整单元106还用于根据场景信息与人像信息的对应关系,将第三人像信息缩放为当前场景信息对应的比例,得到第四人像信息;所述图像融合单元108用于对场景信息和第四人像信息进行合成,得到图像合成信息。

例如对于风景区的空间场景而言,其中包含了诸多高大的树木,该场景中树木的像素高度为1000个像素高度,经过调整后得到的第三人像信息的身高参数也为1000个像素高度,如果此时直接将第三人像信息与场景信息合成,图像合成信息中呈现的人像将与树木大小一样,给用户带来不良的感官体验(假设该空间场景中树木较为高大,一般树木的高度远大于人体身高)。在这种情况下,人像调整单元106还用于根据场景信息中树木高度与人像信息的身高参数之间的对应关系(假设为1:0.1),将第三人像信息的身高参数由1000个像素高度缩放至100像素高度,得到第四人像信息。所述图像融合单元再对场景信息和第四人像信息进行合成,得到图像合成信息。这样,显示出的图像合成信息中,人像信息与场景信息之间的比例更加符合实际生活中的应用场景,给人以身临其境之感,有效增强用户体验。

如图2所示,为本发明一实施方式涉及的vr交互中显示大小控制的装置的示意图。所述vr设备101的数量为多个,包括第一vr设备1011和第二vr设备1012,所述第一vr设备1011和第二vr设备1012连接;所述第一vr设备1011包括第一图像采集单元113、第一人像识别单元115、第一人像调整单元116、第一场景获取单元117、第一图像融合单元118、第一显示控制单元119、第一显示单元120和第一通信单元121。所述第二vr设备1012包括第二图像采集单元123、第二人像识别单元125、第二人像调整单元126、第二场景获取单元127、第二图像融合单元128、第二显示控制单元129、第二显示单元130和第二通信单元131。

在本实施实时里中,vr设备除了与服务器进行交互(从服务器获取场景信息)之外,vr设备和vr设备之间还需要进行交互,以便在某一vr设备中既可以显示用户自己的人像信息,还可以显示其他用户的人像信息。为了便于说明,下面以用户a穿戴第一vr设备,用户b穿戴第二vr设备为例,对vr设备之间的交互方式作进一步说明。

对于第一vr设备而言,第一图像采集单元113采集用户a在预设位置的图像信息,并通过第一人像识别单元115提取出用户a对应的第一人像信息进行存储。在应用过程中,第一图像采集单元113采集用户a当前所在位置的图像信息,并通过第一人像识别单元115提取出采集到的第二图像中用户a对应的第二人像信息进行存储。为了使得第一显示控制单元119传输给第一显示单元120的图像合成信息中能够显示用户b的人像,第一通信单元121还用于接收第二通信单元131发送的第二人像识别单元125提取出的第二人像信息。所述第一人像调整单元116用于将第二通信单元发送的的来自第二人像识别单元提取出的第二人像信息(即用户b的第二人像信息)、以及第一人像识别单元提取出的第二人像信息(即用户a的第二人像信息)根据这两者与第一人像信息参数的比例对应关系,分别确定缩放比例,并根据对应的缩放比例进行缩放,得到包含有缩放后的第一人像和第二人像的第三人像信息。

而后第一场景获取单元117还可以从服务器获取场景信息,第一图像融合单元118将所获取的场景信息与包含有调整后的第一人像(用户a人像)、第二人像(用户b人像)的第三人像信息一并合成为图像合成信息,并送往第一显示单元进行显示。用户a通过第一vr设备不仅可以观察到自身处于虚拟空间场景中,还可以观察到其他用户在同一虚拟空间场景中成像,且人像与人像之间的比例在同一比例尺下,有效增强了用户体验。

对于第二vr设备而言,第二图像采集单元123采集用户b在预设位置的图像信息,并通过第二人像识别单元125提取出用户b对应的第一人像信息进行存储。在应用过程中,第二图像采集单元123采集用户b当前所在位置的图像信息,并通过第二人像识别单元125提取出采集到的第二图像中用户b对应的第二人像信息进行存储。为了使得第二显示控制单元129传输给第二显示单元130的图像合成信息中能够显示用户a的人像,第二通信单元131还用于接收第一通信单元121发送的第一人像识别单元115提取出的第二人像信息。所述第二人像调整单元126用于将第一通信单元发送的的来自第一人像识别单元提取出的第二人像信息(即用户a的第二人像信息)、以及第二人像识别单元提取出的第二人像信息(即用户b的第二人像信息)根据这两者与第二人像信息参数的比例对应关系,分别确定缩放比例,并根据对应的缩放比例进行缩放,得到包含有缩放后的第一人像和第二人像的第三人像信息。

而后第二场景获取单元127还可以从服务器获取场景信息,第二图像融合单元128将所获取的场景信息与包含有调整后的第一人像(用户a人像)、第二人像(用户b人像)的第三人像信息一并合成为图像合成信息,并送往第二显示单元进行显示。用户b通过第二vr设备不仅可以观察到自身处于虚拟空间场景中,还可以观察到其他用户在同一虚拟空间场景中成像,且人像与人像之间的比例在同一比例尺下,有效增强了用户体验。

在某些实施例中,第一vr设备为主设备,第二vr设备为从设备,因而用户a、b对应的第二人像信息都会根据与用户a对应的第一人像信息的比例关系进行调整。这一实施例中,第一通信单元在将第二人像信息发送至第二通信单元时,会将第一人像信息一并发送。

在另一些实施例中,若第二vr设备为主设备,第一vr设备为从设备,则用户a、b对应分第二人像信息都会根据与用户b对应的第一人像信息的比例关系进行调整。这一实施例中,第二通信单元在将第二人像信息发送至第一通信单元时,会将第二人像信息一并发送。

在另一些实施例中,用户a和b对应的第二人像信息也可以分别根据两者与预设标准人像信息之间的比例关系,对用户aa和b对应的第二人像信息进行调整,得到第三人像信息。简言之,只需保证调整后的人像信息处于同一比例尺寸下即可。

在某些实施例中,当第一vr设备为主设备时,其他vr设备均为从设备。第一通信单元用于将图像合成信息广播发送至其他vr设备的通信单元,其他vr设备的通信接收到图像合成信息后,可以将图像合成信息直接送至其显示单元进行显示。由于接收的图像合成信息都是一致的,保证各个vr设备所呈现的虚拟空间场景和人像信息相互协调统一,极大增强了用户体验。此外,在这一实施例中,第一通信单元就无需将用户a的第二人像信息再广播发送至其他vr设备进行调整计算,只需在一台vr设备上(如第一vr设备)计算得到最终的图像合成信息,再发送至其他vr设备即可,有效节省了计算量。

如图4所示,为本发明另一实施方式涉及的vr交互中显示大小控制的方法的流程图。所述方法应用于vr交互中显示大小控制的装置,所述装置包括至少一个vr设备和服务器;所述vr设备与服务器连接;所述vr设备包括图像采集单元、存储单元、人像识别单元、人像调整单元、场景获取单元、图像融合单元、显示控制单元和显示单元;所述存储单元包括第一存储单元和第二存储单元;所述方法包括:

首先进入步骤s201图像采集单元采集位于预设位置的第一图像,所述第一图像包括第一人像信息。图像采集单元为具有图像采集功能的电子设备,如摄像头。预设位置为距离图像预设距离的位置,预设距离的大小可以根据实际需要确定。在使用过程中,用户可以立于预设距离位置,以便摄像头采集第一图像。所述第一图像包括第一人像信息,所述第一人像信息即为采集的处于预设位置的用户的人体图像。

而后进入步骤s202人像识别单元从第一图像中提取出第一人像信息,并将第一人像信息参数存储于第一存储单元中。人像识别单元可以通过以下方式提取出第一人像信息:通过人体识别算法对第一图像中的人体进行识别,并将图像上人体之外的部分全部用单一纯色填充(比如纯蓝色),以方便进行color_key(颜色键控)操作,进而通过颜色键控操作将第一图像上人体部分和人体之外部分相分离,提取出第一人像信息。第一人像信息参数为表征第一人像信息的对应参数,包括身高参数、身宽参数等。

而后进入步骤s203图像采集单元采集第二图像,人像识别单元从第二图像中提取出第二人像信息,并将第二人像信息参数存储于第二存储单元中;所述第二图像为当前用户所在位置的图像信息。在实际应用过程中,摄像头在采集第二图像时,用户不一定处于预设位置,即采集到的第二图像与第一图像比例不一定对应,因而需要对第二图像的比例进行调整。人像识别单元从第二图像中提取出第二人像信息的方式与提取第一人像信息的方式类似,此处不再赘述。所述第二人像信息参数包括采集的图像信息中用户对应的身高参数、身宽参数等。

而后进入步骤s204人像调整单元根据第二人像信息参数和第一人像信息参数的比例关系,确定缩放比例,并根据所述缩放比例对第二人像信息参数进行缩放,并依据缩放后的人像信息参数生成第三人像信息。例如用户提取出的第一人像信息中身高参数为1000个像素高度,而本次采集到的第二人像信息中身高参数为800个像素高度,则第二图像中第二人像信息与第一人像信息关于身高参数的比例为0.8。人像调整单元可以根据缩放比例,将第二人像信息参数还原回第一人像信息参数大小,生成第三人像信息,即将800像素高度的身高参数还原回1000像素高度并予以显示。也可以根据身高参数比与缩放比例的对应关系,确定身高参数对应的缩放比,例如当第二人像信息与第一人像信息关于身高参数的比例为0.8时,确定缩放比为1.5,则将当前第二人像信息的身高参数放大1.5倍后生成第三人像信息。身宽参数的缩放与身高参数类似,此处不再赘述。当然,在另一些实施例中,人像信息参数还可以包含一些其他参数,例如头部和身体的比例等,人像调整单元也可以对这些参数进行调整缩放,以生成第三人像信息。

而后进入步骤s205场景获取单元从服务器获取场景信息,图像融合单元对场景信息和第三人像信息进行合成,得到图像合成信息。在本实施方式中,vr设备包括通信单元111,通信单元与服务器之间可以通过有线或无线的方式进行连接,场景信息可以事先存储于服务器对应的存储单元中,当服务器接收到vr设备发送的场景信息获取指令时,则将场景信息发送至vr设备。所述场景信息为vr数据流对应的背景数据流,即除了人像部分之外的其他数据流,例如可以是虚拟空间场景(包括学校、户外、室内、风景区等等)。图像融合单元108可以通过图像融合算法,将场景信息和和第三人像信息进行合成,图像融合算法目前已在vr领域得到广泛应用,此处不再赘述。

而后进入步骤s206显示控制单元将图像合成信息传输至显示单元进行显示。这样,当用户佩戴vr设备时,就可以看到包含有比例缩放后的人像信息的图像合成信息,有效增强了用户体验。

在某些实施例中,所述方法还包括:人像调整单元根据场景信息与人像信息的对应关系,将第三人像信息缩放为当前场景信息对应的比例,得到第四人像信息;图像融合单元对场景信息和第四人像信息进行合成,得到图像合成信息,使得调整后的人像适应场景信息的需求,有效提高用户体验。

在某些实施例中,所述vr设备的数量为多个,包括第一vr设备和第二vr设备,所述第一vr设备和第二vr设备连接;所述vr设备还包括通信单元;所述第一vr设备包括第一通信单元、第一人像识别单元、第一人像调整单元;所述第二vr设备包括第二通信单元、第二人像识别单元、第二人像调整单元;所述方法包括:

第一通信单元将第一人像识别单元提取出的第二人像信息发送至第二通信单元;

第二人像调整单元将第二通信单元接收的来自第一人像识别单元提取出的第二人像信息、以及第二人像识别单元提取出的第二人像信息根据这两者与第一人像信息参数的比例对应关系,分别确定缩放比例,并根据对应的缩放比例进行缩放,得到包含有缩放后的第一人像和第二人像的第三人像信息;

或者,第一通信单元接收第二通信单元发送的第二人像识别单元提取出的第二人像信息发送;

第一人像调整单元将第二通信单元发送的的来自第二人像识别单元提取出的第二人像信息、以及第一人像识别单元提取出的第二人像信息根据这两者与第一人像信息参数的比例对应关系,分别确定缩放比例,并根据对应的缩放比例进行缩放,得到包含有缩放后的第一人像和第二人像的第三人像信息。

如图3所示,为本发明另一实施方式涉及的vr交互中显示大小控制的装置的示意图。所述装置包括多个vr设备;所述vr设备包括第三vr设备1013和第四vr设备1014;所述第三vr设备1013包括第三图像采集单元133、第三存储单元134、第三人像识别单元135、第三人像调整单元136、第三图像融合单元138、第三显示控制单元139、第三显示单元140、场景生成单元112、第三通信单元141;所述第四vr设备1014包括第四图像采集单元143、第四存储单元144、第四人像识别单元145、第四人像调整单元146、第四图像融合单元148、第四显示控制单元149、第四显示单元150、第四场景获取单元147、第四通信单元151。

在本实施方式中,第三vr设备1013为主设备,第四vr设备1014为从设备,第三vr设备包含有场景生成单元112,用于生成场景信息。第四vr设备包括第四场景获取单元147,用于获取第三vr设备的场景生成单元112生成的场景信息。

对于第三vr设备而言,所述第三图像采集单元133用于采集位于预设位置的第一用户的第五图像,所述第五图像包括第五人像信息。图像采集单元为具有图像采集功能的电子设备,如摄像头。预设位置为距离图像预设距离的位置,预设距离的大小可以根据实际需要确定。在使用过程中,第一用户可以立于预设距离位置,以便摄像头采集第五图像。所述第五图像包括第五人像信息,所述第五人像信息即为采集的处于预设位置的用户的人体图像。

所述第三人像识别单元135用于从第五图像中提取出第五人像信息,并将第五人像信息参数存储于第三存储单元134中。第三人像识别单元可以通过以下方式提取出第五人像信息:通过人体识别算法对第五图像中的人体进行识别,并将图像上人体之外的部分全部用单一纯色填充(比如纯蓝色),以方便进行color_key(颜色键控)操作,进而通过颜色键控操作将第五图像上人体部分和人体之外部分相分离,提取出第五人像信息。第五人像信息参数为表征第五人像信息的对应参数,包括身高参数、身宽参数等。

所述第三图像采集单元133还用于采集第六图像,所述第六图像为当前第一用户所在位置的图像信息,所述第三人像识别单元用于从第六图像中提取出第六人像信息,并将第六人像信息参数存储于第三存储单元中。在实际应用过程中,摄像头在采集第六图像时,用户不一定处于预设位置,即采集到的第六图像与第五图像比例不一定对应,因而需要对第六图像的比例进行调整。第三人像识别单元从第六图像中提取出第六人像信息的方式与提取第五人像信息的方式类似,此处不再赘述。所述第六人像信息参数包括采集的图像信息中用户对应的身高参数、身宽参数等。

所述第三通信单元141用于接收第四通信单元151发送的第二用户的第九人像信息,所述第九人像信息包括第九人像信息对应的人像信息参数。

所述第三人像调整单元136用于根据第五人像信息参数和第六人像信息参数的比例关系,确定对应缩放比例,并根据所述缩放比例对第六人像信息参数进行缩放,以及用于根据第五人像信息参数和第九人像信息参数的比例关系,确定对应缩放比例,并根据所述缩放比例对第九人像信息参数进行缩放,生成第一人像综合信息,所述第一人像综合信息包含有缩放后的第六人像信息和缩放后的第九人像信息。

所述场景生成单元112用于生成场景信息,所述第三图像融合单元138用于对场景信息和第一人像综合信息进行合成,得到第一图像合成信息。第三图像融合单元138可以通过图像融合算法,将场景信息和和第三人像信息进行合成,图像融合算法目前已在vr领域得到广泛应用,此处不再赘述。

所述第三显示控制单元139用于将第一图像合成信息传输至第三显示单元140进行显示。这样,第一用户通过第三vr设备不仅可以观察到自身处于虚拟空间场景中,还可以观察到其他用户在同一虚拟空间场景中成像,且人像与人像之间的比例在同一比例尺下,有效增强了用户体验。

对于第四vr设备而言,所述第四图像采集单元143用于采集位于预设位置的第二用户的第八图像,所述第八图像包括第八人像信息。第四图像采集单元为具有图像采集功能的电子设备,如摄像头。预设位置为距离图像预设距离的位置,预设距离的大小可以根据实际需要确定。在使用过程中,第二用户可以立于预设距离位置,以便摄像头采集第八图像。所述第八图像包括第八人像信息,所述第八人像信息即为采集的处于预设位置的用户的人体图像。

所述第四人像识别单元145用于从第八图像中提取出第八人像信息,并将第八人像信息参数存储于第四存储单元中。第四人像识别单元145可以通过以下方式提取出第一人像信息:通过人体识别算法对第八图像中的人体进行识别,并将图像上人体之外的部分全部用单一纯色填充(比如纯蓝色),以方便进行color_key(颜色键控)操作,进而通过颜色键控操作将第八图像上人体部分和人体之外部分相分离,提取出第八人像信息。第八人像信息参数为表征第八人像信息的对应参数,包括身高参数、身宽参数等。

所述第四图像采集单元143还用于采集第九图像,所述第九图像为当前第二用户所在位置的图像信息,所述第四人像识别单元用于从第九图像中提取出第九人像信息,并将第九人像信息参数存储于第四存储单元中;

所述第四通信单元151用于发送第九人像信息至第三通信单元,以及用于接收第三通信单元发送的场景信息和第六人像信息,所述第六人像信息包括第六人像信息对应的人像信息参数;

所述第四人像调整单元146用于根据第八人像信息参数和第九人像信息参数的比例关系,确定对应缩放比例,并根据对应的缩放比例对第九人像信息参数进行缩放,以及用于根据第六人像信息参数和第八人像信息参数的比例关系,确定对应缩放比例,并根据对应的缩放比例对第六人像信息参数进行缩放,生成第二人像综合信息,所述第二人像综合信息包含有缩放后的第六人像信息和缩放后的第九人像信息;

所述第四场景获取单元147用于获取场景生成单元生成的场景信息,所述第四图像融合单元用于对场景信息和第二人像综合信息进行合成,得到第二图像合成信息;

所述第四显示控制单元149用于将第二图像合成信息传输至第四显示单元150进行显示。这样,第二用户通过第四vr设备不仅可以观察到自身处于虚拟空间场景中,还可以观察到其他用户在同一虚拟空间场景中成像,且人像与人像之间的比例在同一比例尺下,有效增强了用户体验。

在某些实施例中,所述第三人像调整单元136还用于根据场景信息与第一人像综合信息的对应关系,将第一人像综合信息缩放为当前场景信息对应的比例,得到第三人像综合信息;所述第三图像融合单元138用于对场景信息和第三人像综合信息进行合成,得到第一图像合成信息。所述第一人像综合信息为第三vr设备上待调整的所有人像信息,包括第三人像识别单元提取出的第一用户的当前位置的人像信息、以及通过第三通信单元接收的其他vr设备发送的待融入空间场景的人像信息。

所述第四人像调整单元146还用于根据场景信息与第二人像综合信息的对应关系,将第二人像综合信息缩放为当前场景信息对应的比例,得到第四人像综合信息;所述第四图像融合单元用于对场景信息和第四人像综合信息进行合成,得到第二图像合成信息。所述第二人像综合信息为第四vr设备上待调整的所有人像信息,包括第四人像识别单元提取出的第二用户的当前位置的人像信息、以及通过第四通信单元接收的其他vr设备发送的待融入空间场景的人像信息。

本发明还提供了一种vr交互中显示大小控制的方法,所述方法应用于vr交互中显示大小控制的装置,所述装置包括多个vr设备;所述vr设备包括第三vr设备和第四vr设备;所述vr设备还包括通信单元;所述第三vr设备包括第三图像采集单元、第三存储单元、第三人像识别单元、第三人像调整单元、第三图像融合单元、第三显示控制单元、第三显示单元、场景生成单元;所述第四vr设备包括第四图像采集单元、第四存储单元、第四人像识别单元、第四人像调整单元、第四图像融合单元、第四显示控制单元、第四显示单元、第四场景获取单元。

在本实施方式中,第三vr设备为主设备,第四vr设备为从设备。第三vr设备包含有场景生成单元,用于生成场景信息。第四vr设备包括第四场景获取单元,用于获取第三vr设备的场景生成单元生成的场景信息。优选的,主设备的数量为一个,从设备的数量为一个或多个。

如图5所示,对于主设备(以第三vr设备为例)而言,所述方法包括:

首先进入步骤s401第三图像采集单元采集位于预设位置的第一用户的第五图像,所述第五图像包括第五人像信息;

而后进入步骤s402第三人像识别单元从第五图像中提取出第五人像信息,并将第五人像信息参数存储于第三存储单元中;

而后进入步骤s403第三图像采集单元采集第六图像,第三人像识别单元从第六图像中提取出第六人像信息,并将第六人像信息参数存储于第三存储单元中,所述第六图像为当前第一用户所在位置的图像信息;

而后进入步骤s404第三人像调整单元根据第五人像信息参数和第六人像信息参数的比例关系,确定对应缩放比例,并根据所述缩放比例对第六人像信息参数进行缩放,以及根据第五人像信息参数和第九人像信息参数的比例关系,确定对应缩放比例,并根据所述缩放比例对第九人像信息参数进行缩放,生成第一人像综合信息,所述第一人像综合信息包含有缩放后的第六人像信息和缩放后的第九人像信息;

而后进入步骤s405场景生成单元生成场景信息,所述第三图像融合单元用于对场景信息和第一人像综合信息进行合成,得到第一图像合成信息;

而后进入步骤s406第三显示控制单元将第一图像合成信息传输至第三显示单元进行显示。

在某些实施例中,所述方法包括:第三通信单元接收第四通信单元发送的第二用户的第九人像信息,所述第九人像信息包括第九人像信息对应的人像信息参数。

对于从设备而言(以第四vr设备为例),所述方法包括:

首先进入步骤s501第四图像采集单元采集位于预设位置的第二用户的第八图像,所述第八图像包括第八人像信息;

而后进入步骤s502第四人像识别单元从第八图像中提取出第八人像信息,并将第八人像信息参数存储于第四存储单元中;

而后进入步骤s503第四图像采集单元采集第九图像,第四人像识别单元从第九图像中提取出第九人像信息,并将第九人像信息参数存储于第四存储单元中,所述第九图像为当前第二用户所在位置的图像信息;

而后进入步骤s504第四通信单元发送第九人像信息至第三通信单元,以及接收第三通信单元发送的场景信息和第六人像信息,所述第六人像信息包括第六人像信息对应的人像信息参数;

而后进入步骤s505第四人像调整单元根据第八人像信息参数和第九人像信息参数的比例关系,确定对应缩放比例,并根据对应的缩放比例对第九人像信息参数进行缩放;

而后进入步骤s506第四人像调整单元根据第六人像信息参数和第八人像信息参数的比例关系,确定对应缩放比例,并根据对应的缩放比例对第六人像信息参数进行缩放,生成第二人像综合信息,所述第二人像综合信息包含有缩放后的第六人像信息和缩放后的第九人像信息;

而后进入步骤s507第四场景获取单元获取场景生成单元生成的场景信息,第四图像融合单元对场景信息和第二人像综合信息进行合成,得到第二图像合成信息;

而后进入步骤s508第四显示控制单元将第二图像合成信息传输至第四显示单元进行显示。

在某些实施例中,所述方法包括:

首先进入步骤s601第三人像调整单元根据场景信息与第一人像综合信息的对应关系,将第一人像综合信息缩放为当前场景信息对应的比例,得到第三人像综合信息;

而后进入步骤s602第三图像融合单元对场景信息和第三人像综合信息进行合成,得到第一图像合成信息;

而后进入步骤s603第四人像调整单元根据场景信息与第二人像综合信息的对应关系,将第二人像综合信息缩放为当前场景信息对应的比例,得到第四人像综合信息;

而后进入步骤s604第四图像融合单元对场景信息和第四人像综合信息进行合成,得到第二图像合成信息。这样,可以使得第二图像合成信息中,第四人像综合信息与场景信息的比例相适配,更加符合人眼习惯,模仿实际应用场景,提高用户感官体验。

本发明提供了一种vr交互中显示大小控制的方法和装置,所述装置通过在预设位置统一采集获取用户的人像信息,得到一个预定的标准尺寸比例。这样,用户在使用vr设备过程中,无论用户位置如何,都可以将用户的人像信息转换为标准比例,而后再将转换后的人像信息与场景信息进行合成,并最终传输至vr进行显示。本发明很好地解决了虚拟空间社交参与人员的空间融入和不同空间人员融入共同虚拟空间时的真实比例不一致的问题,同时具备便于携带、低功耗等特点,在vr设备应用领域具有广阔的市场前景。

需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括……”或“包含……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。此外,在本文中,“大于”、“小于”、“超过”等理解为不包括本数;“以上”、“以下”、“以内”等理解为包括本数。

本领域内的技术人员应明白,上述各实施例可提供为方法、装置、或计算机程序产品。这些实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。上述各实施例涉及的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成,所述的程序可以存储于计算机设备可读取的存储介质中,用于执行上述各实施例方法所述的全部或部分步骤。所述计算机设备,包括但不限于:个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端、智能家居设备、穿戴式智能设备、车载智能设备等;所述的存储介质,包括但不限于:ram、rom、磁碟、磁带、光盘、闪存、u盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。

上述各实施例是参照根据实施例所述的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到计算机设备的处理器以产生一个机器,使得通过计算机设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机设备以特定方式工作的计算机设备可读存储器中,使得存储在该计算机设备可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机设备上,使得在计算机设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已经对上述各实施例进行了描述,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改,所以以上所述仅为本发明的实施例,并非因此限制本发明的专利保护范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1