一种信息处理方法、穿戴式电子设备、处理装置及系统与流程

文档序号:14731824发布日期:2018-06-19 19:40阅读:159来源:国知局
一种信息处理方法、穿戴式电子设备、处理装置及系统与流程

本发明涉及信息处理领域中的图像处理技术,尤其涉及一种信息处理方法、穿戴式电子设备、处理装置及系统。



背景技术:

头戴式显示器是虚拟现实技术中的一个重要硬件设备,它实时的获取用户头部朝向,并将该方向上的景物呈现在用户眼前。在这个过程中,场景的呈现方式极大的影响观看者的沉浸感受,需要使得用户通过虚拟现实设备看到的场景尽可能的接近真实。

全景多媒体是一种非常常见的虚拟现实素材,通过用全景相机拍摄采集,加上图像拼接与渲染得到,用户可以通过转头控制视点的转动从而有一定的浸入式感受。但通常全景多媒体是2D的,即用户的左右眼的场景是完全一致的,所以用户的浸入式体验并不强。

同时也有另外一种方案,由于3D效果是通过视差产生,而视差是由于双目相机拍摄同一场景时位置的略微差异产生,将全景相机的每一路单目相机换成双目相机,在拼接时,用每一路双目相机的左目共同构成左全景素材,同时用每一目的右目相机构成右全景素材,再将两路全景素材分别显示给两只眼睛,从而实现全景的基础上又有一定的3D视觉效果,但是由于采集时双目的位置是有限离散固定的,而通过虚拟现实设备转头时,双目的实际视点是连续可变的,所以在一些位置的双目视差会出现错误。



技术实现要素:

本发明实施例提供一种信息处理方法、穿戴式电子设备、处理装置及系统,能至少解决现有技术中存在的上述问题。

本发明实施例的技术方案是这样实现的:

本发明实施例提供一种信息处理方法,应用于穿戴式电子设备,所述方法包括:

获取到针对目标区域的第一初始图像以及第二初始图像;其中,所述第一初始图像为基于第一位置采集得到的图像、第二初始图像为基于第二位置采集得到的图像;

基于所述针对目标区域的所述第一初始图像以及所述第二初始图像,确定所述目标区域中各个目标点的深度信息;

从所述第一初始图像以及所述第二初始图像中选取第一目标图像,基于所述第一目标图像以及所述深度信息计算得到第二目标图像,以控制通过第一输出单元以及第二输出单元分别输出所述第一目标图像以及所述第二目标图像;其中,所述第二目标图像表征能够在第三位置采集到针对所述目标区域的图像。

本发明实施例提供一种信息处理方法,应用于处理装置,所述方法包括:

获取到针对目标区域的第一初始图像以及第二初始图像;其中,所述第一初始图像为基于第一位置采集得到的图像、第二初始图像为基于第二位置采集得到的图像;

基于所述针对目标区域的所述第一初始图像以及所述第二初始图像,确定所述目标区域中各个目标点的深度信息;

从所述第一初始图像以及所述第二初始图像中选取第一目标图像,发送所述第一目标图像以及所述深度信息至穿戴式电子设备,使得所述穿戴式电子设备基于所述第一目标图像以及所述深度信息计算得到第二目标图像,并通过第一输出单元以及第二输出单元分别输出所述第一目标图像以及所述第二目标图像;其中,所述第二目标图像表征能够在第三位置采集到针对所述目标区域的图像。

本发明实施例提供一种穿戴式电子设备,所述穿戴式电子设备包括:

第一信息获取单元,用于获取到针对目标区域的第一初始图像以及第二初始图像;其中,所述第一初始图像为基于第一位置采集得到的图像、第二初始图像为基于第二位置采集得到的图像;

第一分析单元,用于基于所述针对目标区域的所述第一初始图像以及所述第二初始图像,确定所述目标区域中各个目标点的深度信息;

第一图像计算单元,用于从所述第一初始图像以及所述第二初始图像中选取第一目标图像,基于所述第一目标图像以及所述深度信息计算得到第二目标图像,以控制通过第一输出单元以及第二输出单元分别输出所述第一目标图像以及所述第二目标图像;其中,所述第二目标图像表征能够在第三位置采集到针对所述目标区域的图像。

本发明实施例提供一种处理装置,所述处理装置包括:

第二信息获取单元,用于获取到针对目标区域的第一初始图像以及第二初始图像;其中,所述第一初始图像为基于第一位置采集得到的图像、第二初始图像为基于第二位置采集得到的图像;

第二分析单元,用于基于所述针对目标区域的所述第一初始图像以及所述第二初始图像,确定所述目标区域中各个目标点的深度信息;

传输单元,用于从所述第一初始图像以及所述第二初始图像中选取第一目标图像,发送所述第一目标图像以及所述深度信息至穿戴式电子设备。

本发明实施例提供一种信息处理系统,所述系统包括:

处理装置,用于获取到针对目标区域的第一初始图像以及第二初始图像;其中,所述第一初始图像为基于第一位置采集得到的图像、第二初始图像为基于第二位置采集得到的图像;基于所述针对目标区域的所述第一初始图像以及所述第二初始图像,确定所述目标区域中各个目标点的深度信息;从所述第一初始图像以及所述第二初始图像中选取第一目标图像,发送所述第一目标图像以及所述深度信息至穿戴式电子设备;

穿戴式电子设备,用于基于所述第一目标图像以及所述深度信息计算得到第二目标图像,并通过第一输出单元以及第二输出单元分别输出所述第一目标图像以及所述第二目标图像;其中,所述第二目标图像表征能够在第三位置采集到针对所述目标区域的图像。

本发明实施例中提供的信息处理方法、穿戴式电子设备、处理装置及系统,根据两个初始图像确定目标区域中至少一个目标点对应的深度信息,然后从两个初始图像中选取一个图像作为一个目标图像,根据选取的目标图像以及深度信息计算得到第二目标图像,以能够在不同的输出装置中分别输出上述两个目标图像。如此,就能够避免简单的由两个初始图像进行输出而导致的用户无法在目标区域的全部目标点出均能够感知到对应的深度信息的问题,通过实时根据深度信息以及一个眼睛对应的图像进行另一个眼睛的图像进行计算,保证了用户在任意一个视角观察到的目标点的深度信息的正确性,从而保证了用户的视觉感知无偏差。

附图说明

图1为本发明实施例中信息处理方法的实现流程示意图一;

图2为本发明实施例穿戴时电子设备的使用场景图;

图3为本发明实施例图像采集装置的组成示意图一;

图4为本发明实施例图像采集装置的组成示意图二;

图5为本发明实施例图像采集装置的组成示意图三;

图6为本发明实施例图像采集装置的组成示意图四;

图7为本发明实施例两个初始图像示意图;

图8为本发明实施例选取的目标点示意图;

图9为计算得到深度信息的示意图;

图10为对目标区域中的子区域进行选取的示意图;

图11为本发明实施例划分多个子区域的场景示意图;

图12为本发明实施例信息处理方法流程示意图二;

图13为本发明实施例系统组成示意图;

图14为本发明实施例穿戴式电子设备组成结构示意图;

图15为本发明实施例处理装置组成结构示意图;

图16为本发明实施例信息处理系统组成结构示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细说明。

实施例一、

本发明实施例提供一种信息处理方法,如图1所示,包括:

步骤101:获取到针对目标区域的第一初始图像以及第二初始图像;其中,所述第一初始图像为基于第一位置采集得到的图像、第二初始图像为基于第二位置采集得到的图像;

步骤102:基于所述针对目标区域的所述第一初始图像以及所述第二初始图像,确定所述目标区域中各个目标点的深度信息;

步骤103:从所述第一初始图像以及所述第二初始图像中选取第一目标图像,基于所述第一目标图像以及所述深度信息计算得到第二目标图像,以控制通过第一输出单元以及第二输出单元分别输出所述第一目标图像以及所述第二目标图像;其中,所述第二目标图像表征能够在第三位置采集到针对所述目标区域的图像。

这里,本实施例提供的方法可以应用于穿戴式电子设备,所述穿戴式电子设备可以为智能眼镜,比如,参见图2,用户可以佩戴智能眼镜,然后通过智能眼镜针对两个初始图像进行处理。

两个初始图像的采集方式可以为分别通过设置在第一位置以及第二位置的两个图像采集装置采集得到的初始图像。

其中,设置两个图像采集装置的方式可以参见图3以及图4,图3中在一个装置中设置有两个图像采集装置,分别设置在第一位置31以及第二位置31,这种场景下,两个位置为处于同一水平线上相邻。图4中在一个装置中设置有两个图像采集装置,分别设置在第一位置41以及第二位置42,在图4中所示的场景中两个位置可以为垂直距离上相邻。

上述图3以及图4对于目标区域的采集可以为对某一个方向上的信息的采集。在图3以及图4的基础之上,可以在四个方向上均设置一套图3或者图4中的采集装置进行全方向的图像采集,比如,参见图5和图6。图5中所示的设备,通过固定部件51对整体设备进行固定,然后在东西南北四个方向上均设置一套包含有两个图像采集装置的子部件,分别为子部件521、522、523以及524,其中,每一套子部件中的两个图像采集装置分别设置在各自子部件中的第一位置以及第二位置,具体的描述与图3相同,这里不再进行赘述。图6中所示的设备,则是通过东西南北四个方向设均设置一套包含有图4所示的包含有两个图像采集装置的子部件进行图像采集,其中每一个子部件中包含的两个图像采集装置分别设置在第一位置和第二位置,具体每一个子部件包含的内容如图4所示,这里不再进行赘述。

下面以图5所示的设备进行图像采集,选取其中子部件521中的两个图像采集单元采集得到两个初始图像为例进行说明,比如,参见图7,通过子部件521中的两个图像采集装置分别采集得到第一初始图像C1以及第二初始图像C2,另外,通过图7所示可以看出两个初始图像都是针对相同的场景进行的图像采集,并且采集到的为相同的目标区域。

进一步地,由于两个图像采集装置在水平上存在第一距离,所以两个初始图像存在差距,比如,第一初始图像的最左侧的部分图像可能在第二初始图像中的最左侧是采集不到的。

可以理解的是,本实施例前述进行图像采集的部分,可以为通过双目摄像机采集。

另外,上述步骤101的处理可以为将双目摄像机采集到的两个初始图像输入到穿戴式电子设备。

所述基于所述针对目标区域的所述第一初始图像以及所述第二初始图像,确定所述目标区域中各个目标点的深度信息,包括:

从所述第一初始图像中选取目标区域的至少一个目标点的图像信息;从所述第二初始图像中选取目标区域的至少一个目标点的图像信息;根据所述第一初始图像以及所述第二初始图像中分别选取得到的针对目标区域的至少一个目标点的图像信息,确定所述至少一个目标区域中每一个目标点对应的深度信息。

其中,目标点的图像信息可以包括有:所述目标点中包含的各个像素点的像素信息、以及各个像素点在所在图像中的位置信息。

比如,参见图8,针对目标区域中的同一个目标点在两个初始图像C2以及C1之间时存在视差的,假设目标区域中一个目标点在第一初始图像C1中的坐标位置为C1(x1,y1),在第二初始图像C2中的坐标位置为C2(x2,y2),这两个坐标之间的差值就可以组成视差。

所述方法还包括:获取到所述第一位置与所述第二位置之间的第一距离;

相应的,所述确定所述目标区域中各个目标点的深度信息,包括:

根据所述第一距离、所述第一初始图像以及第二初始图像分别对应的至少一个目标点中每一个目标点对应的图像信息,计算得到所述各个目标点的深度信息。

进一步地,结合图9进行深度信息的计算的说明,通过包含有两个图像采集装置的部件91,分别针对目标区域C进行图像采集,尤其是针对目标区域C中的一个目标点92进行图像采集,在每一个图像采集装置的呈像区域处分别获取到目标点92对应的两个位置坐标(x1,y1)以及(x2,y2);另外由于能够预先知道的为两个图像采集装置之间的第一距离L,每一个图像采集装置的镜头与呈像区域之间的距离D,因此能够通过上述的L、D以及两个位置坐标计算得到两个角度a1以及a2,然后基于上述两个角度以及第一距离L就能够确定目标点的深度信息H。

可以理解的是,图9中给出的仅为针对一个目标点的深度信息的计算方式,在针对图7所示的两个初始图像的处理中,可以将目标区域分成为多个目标点,然后计算得到每一个目标点的深度信息。

所述从所述第一初始图像中选取目标区域的至少一个目标点的图像信息;从所述第二初始图像中选取目标区域的至少一个目标点的图像信息,包括:

将所述目标区域划分为至少一个目标子区域,并获取到所述至少一个目标子区域对应的特征参数,其中,所述特征参数用于表征目标子区域内包含的图像信息的复杂程度;

根据所述目标子区域对应的特征参数,确定针对每一个目标子区域选取的目标点的数量;

根据针对每一个目标子区域及其选取的目标点的数量,分别从所述第一初始图以及所述第二初始图像的每一个目标子区域中分别选取至少一个目标点的图像信息。

具体来说,根据所述目标子区域对应的特征参数,确定针对每一个目标子区域选取的目标点的数量,可以为从目标区域确定多个目标点的方式可以为根据目标区域的场景丰富程度进行目标点的选取,比如,设置在场景较为丰富的区域选取第一数量个目标点,比如,在图10中所示,假设两个初始图像中方块圈定的区域为场景较为丰富的区域,那么可以从其中选取三个目标点,根据这三个目标点分别计算得到深度信息。可以理解的是,上述仅为一个示例,实际处理中可以在图中方框圈定的地方选取更多的目标点,计算深度信息的方式也如前所示,这里不再赘述。

另外,还可以为将目标区域平均的划分为第一预设数量个目标子区域,比如,参见图11,将目标区域划分为多个目标子区域,每一个目标子区域可以均如1101一样。另外,从每一个目标子区域中选取目标点的方式可以为每一个目标子区域中选取第二预设数量个目标点,第二预设数量可以为3个或更多,针对每一个目标点的计算方式如前所示这里不再进行赘述。

所述基于所述第一目标图像以及所述深度信息计算得到第二目标图像,包括:

获取到第三位置;其中,所述第三位置与所述第一目标图像对应的采集位置不同;

根据所述第一目标图像对应的采集位置、深度信息以及所述第三位置,计算得到所述第二目标图像。

基于所述第一目标图像以及所述深度信息计算得到第二目标图像的触发条件可以为,获取到输出指令,当检测到输出指令时计算得到第二目标图像。比如,当应用于穿戴式电子设备,也就是智能眼镜中时,可以在确定输出全景立体图像时控制开始计算得到第二目标图像。

进一步地,所述第一目标图像对应的采集位置可以作为第一目的位置,相应的,所述第三位置可以基于目标用户的两个眼睛之间的第二距离计算得到的第二目对应的位置。具体来说,第二距离可以为预设的也可以为通过穿戴式电子设备在进行第二目标图像的计算之前进行采集得到的。预设的方式可以为根据实际情况由用户进行设置,也可以为穿戴式电子设备进行默认设置,这里不再进行赘述。

另外,第三位置可以为,以所述第一目标图像的采集位置对应的横纵坐标为基础,保持纵坐标不变,在所述采集位置的横坐标的基础上增加第二距离,得到第三位置,也就是说,第三位置与所述第一目标图像的采集位置的纵坐标可以相同。

所述至少根据所述第一目标图像、深度信息以及所述第三位置,计算得到所述第二目标图像,其中的计算方式可以与前述的计算深度信息的方式相反,也就是说,可以包括:基于第一目标图像的采集位置以及第三位置之间的第二距离,以及深度信息,针对所述第一目标图像中目标区域的至少一个目标点的图像信息计算得到对应的第二目标图像中至少一个目标点对应的图像信息,进而组成全部的第二目标图像。

在上述处理的场景上,可以将第一目标图像以及第二目标图像分别向用户的两个眼睛输出,以使得用户分别观察到对应的目标图像,进而感知到最终的具备立体效果的图像。

可见,通过采用上述方案,就能够根据两个初始图像确定目标区域中至少一个目标点对应的深度信息,然后从两个初始图像中选取一个图像作为一个目标图像,根据选取的目标图像以及深度信息计算得到第二目标图像,以能够在不同的输出装置中分别输出上述两个目标图像。如此,就能够避免简单的由两个初始图像进行输出而导致的用户无法在目标区域的全部目标点出均能够感知到对应的深度信息的问题,通过实时根据深度信息以及一个眼睛对应的图像进行另一个眼睛的图像进行计算,保证了用户在任意一个视角观察到的目标点的深度信息的正确性,从而保证了用户的视觉感知无偏差。

实施例二、

本发明实施例提供一种信息处理方法,应用于处理装置,如图12所示,包括:

步骤1201:获取到针对目标区域的第一初始图像以及第二初始图像;其中,所述第一初始图像为基于第一位置采集得到的图像、第二初始图像为基于第二位置采集得到的图像;

步骤1202:基于所述针对目标区域的所述第一初始图像以及所述第二初始图像,确定所述目标区域中各个目标点的深度信息;

步骤1203:从所述第一初始图像以及所述第二初始图像中选取第一目标图像,发送所述第一目标图像以及所述深度信息至穿戴式电子设备,使得所述穿戴式电子设备基于所述第一目标图像以及所述深度信息计算得到第二目标图像,并通过第一输出单元以及第二输出单元分别输出所述第一目标图像以及所述第二目标图像;其中,所述第二目标图像表征能够在第三位置采集到针对所述目标区域的图像。

这里,本实施例提供的方法可以应用于处理装置,进一步地,通过处理装置计算得到第一目标图像以及深度信息之后,将第一目标图像以及深度信息发送至穿戴式电子设备,所述穿戴式电子设备可以为智能眼镜,比如,参见图2,用户可以佩戴智能眼镜,然后通过智能眼镜针对两个初始图像进行处理。

两个初始图像的采集方式可以为分别通过设置在第一位置以及第二位置的两个图像采集装置采集得到的初始图像。

其中,设置两个图像采集装置的方式可以参见图3以及图4,图3中在一个装置中设置有两个图像采集装置,分别设置在第一位置31以及第二位置31,这种场景下,两个位置为处于同一水平线上相邻。图4中在一个装置中设置有两个图像采集装置,分别设置在第一位置41以及第二位置42,在图4中所示的场景中两个位置可以为垂直距离上相邻。

上述图3以及图4对于目标区域的采集可以为对某一个方向上的信息的采集。在图3以及图4的基础之上,可以在四个方向上均设置一套图3或者图4中的采集装置进行全方向的图像采集,比如,参见图5和图6。图5中所示的设备,通过固定部件51对整体设备进行固定,然后在东西南北四个方向上均设置一套包含有两个图像采集装置的子部件,分别为子部件521、522、523以及524,其中,每一套子部件中的两个图像采集装置分别设置在各自子部件中的第一位置以及第二位置,具体的描述与图3相同,这里不再进行赘述。图6中所示的设备,则是通过东西南北四个方向设均设置一套包含有图4所示的包含有两个图像采集装置的子部件进行图像采集,其中每一个子部件中包含的两个图像采集装置分别设置在第一位置和第二位置,具体每一个子部件包含的内容如图4所示,这里不再进行赘述。

下面以图5所示的设备进行图像采集,选取其中子部件521中的两个图像采集单元采集得到两个初始图像为例进行说明,比如,参见图7,通过子部件521中的两个图像采集装置分别采集得到第一初始图像C1以及第二初始图像C2,另外,通过图7所示可以看出两个初始图像都是针对相同的场景进行的图像采集,并且采集到的为相同的目标区域。

进一步地,由于两个图像采集装置在水平上存在第一距离,所以两个初始图像存在差距,比如,第一初始图像的最左侧的部分图像可能在第二初始图像中的最左侧是采集不到的。

可以理解的是,本实施例前述进行图像采集的部分,可以为通过双目摄像机采集。

另外,上述步骤1201的处理可以为将双目摄像机采集到的两个初始图像输入到处理装置。

所述基于所述针对目标区域的所述第一初始图像以及所述第二初始图像,确定所述目标区域中各个目标点的深度信息,包括:

从所述第一初始图像中选取目标区域的至少一个目标点的图像信息;从所述第二初始图像中选取目标区域的至少一个目标点的图像信息;根据所述第一初始图像以及所述第二初始图像中分别选取得到的针对目标区域的至少一个目标点的图像信息,确定所述至少一个目标点中每一个目标点对应的深度信息。

其中,目标点的图像信息可以包括有:所述目标点中包含的各个像素点的像素信息、以及各个像素点在所在图像中的位置信息。

比如,参见图8,针对目标区域中的同一个目标点在两个初始图像C2以及C1之间时存在视差的,假设目标区域中一个目标点在第一初始图像C1中的坐标位置为C1(x1,y1),在第二初始图像C2中的坐标位置为C2(x2,y2),这两个坐标之间的差值就可以组成视差。

所述方法还包括:获取到所述第一位置与所述第二位置之间的第一距离;

相应的,所述确定所述目标区域中各个目标点的深度信息,包括:

根据所述第一距离、所述第一初始图像以及第二初始图像分别对应的至少一个目标点中每一个目标点对应的图像信息,计算得到所述各个目标点的深度信息。

进一步地,结合图9进行深度信息的计算的说明,通过包含有两个图像采集装置的部件91,分别针对目标区域C进行图像采集,尤其是针对目标区域C中的一个目标点92进行图像采集,在每一个图像采集装置的呈像区域处分别获取到目标点92对应的两个位置坐标(x1,y1)以及(x2,y2);另外由于能够预先知道的为两个图像采集装置之间的第一距离L,每一个图像采集装置的镜头与呈像区域之间的距离D,因此能够通过上述的L、D以及两个位置坐标计算得到两个角度a1以及a2,然后基于上述两个角度以及第一距离L就能够确定目标点的深度信息H。

可以理解的是,图9中给出的仅为针对一个目标点的深度信息的计算方式,在针对图7所示的两个初始图像的处理中,可以将目标区域分成为多个目标点,然后计算得到每一个目标点的深度信息。

所述从所述第一初始图像中选取目标区域的至少一个目标点的图像信息;从所述第二初始图像中选取目标区域的至少一个目标点的图像信息,包括:

根据所述目标子区域对应的特征参数,确定针对每一个目标子区域选取的目标点的数量。

具体来说,从目标区域确定多个目标点的方式可以为根据目标区域的场景丰富程度进行目标点的选取,比如,设置在场景较为丰富的区域选取第一数量个目标点,比如,在图10中所示,假设两个初始图像中方块圈定的区域为场景较为丰富的区域,那么可以从其中选取三个目标点,根据这三个目标点分别计算得到深度信息。可以理解的是,上述仅为一个示例,实际处理中可以在图中方框圈定的地方选取更多的目标点,计算深度信息的方式也如前所示,这里不再赘述。

另外,还可以为将目标区域平均的划分为第一预设数量个目标子区域,比如,参见图11,将目标区域划分为多个目标子区域,每一个目标子区域可以均如1101一样。另外,从每一个目标子区域中选取目标点的方式可以为每一个目标子区域中选取第二预设数量个目标点,第二预设数量可以为3个或更多,针对每一个目标点的计算方式如前所示这里不再进行赘述。

所述基于所述第一目标图像以及所述深度信息计算得到第二目标图像,包括:

获取到第三位置;其中,所述第三位置与所述第一目标图像对应的采集位置不同;

根据所述第一目标图像对应的采集位置、深度信息以及所述第三位置,计算得到所述第二目标图像。

基于所述第一目标图像以及所述深度信息计算得到第二目标图像的触发条件可以为,获取到输出指令,当检测到输出指令时计算得到第二目标图像。比如,当应用于穿戴式电子设备,也就是智能眼镜中时,可以在确定输出全景立体图像时控制开始计算得到第二目标图像。

进一步地,所述第一目标图像对应的采集位置可以作为第一目的位置,相应的,所述第三位置可以基于目标用户的两个眼睛之间的第二距离计算得到的第二目对应的位置。具体来说,第二距离可以为预设的也可以为通过穿戴式电子设备在进行第二目标图像的计算之前进行采集得到的。预设的方式可以为根据实际情况由用户进行设置,也可以为穿戴式电子设备进行默认设置,这里不再进行赘述。

另外,第三位置可以为,以所述第一目标图像的采集位置对应的横纵坐标为基础,保持纵坐标不变,在所述采集位置的横坐标的基础上增加第二距离,得到第三位置,也就是说,第三位置与所述第一目标图像的采集位置的纵坐标可以相同。

所述至少根据所述第一目标图像、深度信息以及所述第三位置,计算得到所述第二目标图像,其中的计算方式可以与前述的计算深度信息的方式相反,也就是说,可以包括:基于第一目标图像的采集位置以及第三位置之间的第二距离,以及深度信息,针对所述第一目标图像中目标区域的至少一个目标点的图像信息计算得到对应的第二目标图像中至少一个目标点对应的图像信息,进而组成全部的第二目标图像。

结合图13对本实施例的处理场景进行说明,首先可以通过双目摄像机1301进行初始图像的采集,将采集得到的初始图像发送至处理装置1302进行处理,这里需要说明的是,处理装置可以为一个服务器也可以为一个电脑,本实施例不对其实施进行具体说明;

进而通过处理装置1302获取到第一目标图像和深度信息之后,将第一目标图像和深度信息发送给穿戴式电子设备1303;

穿戴式电子设备1303根据第一目标图像以及深度信息进行处理得到最终输出给用户的两目图像,将第一目标图像以及第二目标图像分别向用户的两个眼睛输出,以使得用户分别观察到对应的目标图像,进而感知到最终的具备立体效果的图像。

可见,通过采用上述方案,就能够根据两个初始图像确定目标区域中至少一个目标点对应的深度信息,然后从两个初始图像中选取一个图像作为一个目标图像,根据选取的目标图像以及深度信息计算得到第二目标图像,以能够在不同的输出装置中分别输出上述两个目标图像。如此,就能够避免简单的由两个初始图像进行输出而导致的用户无法在目标区域的全部目标点出均能够感知到对应的深度信息的问题,通过实时根据深度信息以及一个眼睛对应的图像进行另一个眼睛的图像进行计算,保证了用户在任意一个视角观察到的目标点的深度信息的正确性,从而保证了用户的视觉感知无偏差。

实施例三、

本发明实施例提供一种穿戴式电子设备,如图14所示,所述穿戴式电子设备包括:

第一信息获取单元1401,用于获取到针对目标区域的第一初始图像以及第二初始图像;其中,所述第一初始图像为基于第一位置采集得到的图像、第二初始图像为基于第二位置采集得到的图像;

第一分析单元1402,用于基于所述针对目标区域的所述第一初始图像以及所述第二初始图像,确定所述目标区域中各个目标点的深度信息;

第一图像计算单元1403,用于从所述第一初始图像以及所述第二初始图像中选取第一目标图像,基于所述第一目标图像以及所述深度信息计算得到第二目标图像,以控制通过第一输出单元1404以及第二输出单元1405分别输出所述第一目标图像以及所述第二目标图像;其中,所述第二目标图像表征能够在第三位置采集到针对所述目标区域的图像。

这里,本实施例提供的方法可以应用于穿戴式电子设备,所述穿戴式电子设备可以为智能眼镜,比如,参见图2,用户可以佩戴智能眼镜,然后通过智能眼镜针对两个初始图像进行处理。

两个初始图像的采集方式可以为分别通过设置在第一位置以及第二位置的两个图像采集装置采集得到的初始图像。

其中,设置两个图像采集装置的方式可以参见图3以及图4,图3中在一个装置中设置有两个图像采集装置,分别设置在第一位置31以及第二位置31,这种场景下,两个位置为处于同一水平线上相邻。图4中在一个装置中设置有两个图像采集装置,分别设置在第一位置41以及第二位置42,在图4中所示的场景中两个位置可以为垂直距离上相邻。

上述图3以及图4对于目标区域的采集可以为对某一个方向上的信息的采集。在图3以及图4的基础之上,可以在四个方向上均设置一套图3或者图4中的采集装置进行全方向的图像采集,比如,参见图5和图6。图5中所示的设备,通过固定部件51对整体设备进行固定,然后在东西南北四个方向上均设置一套包含有两个图像采集装置的子部件,分别为子部件521、522、523以及524,其中,每一套子部件中的两个图像采集装置分别设置在各自子部件中的第一位置以及第二位置,具体的描述与图3相同,这里不再进行赘述。图6中所示的设备,则是通过东西南北四个方向设均设置一套包含有图4所示的包含有两个图像采集装置的子部件进行图像采集,其中每一个子部件中包含的两个图像采集装置分别设置在第一位置和第二位置,具体每一个子部件包含的内容如图4所示,这里不再进行赘述。

下面以图5所示的设备进行图像采集,选取其中子部件521中的两个图像采集单元采集得到两个初始图像为例进行说明,比如,参见图7,通过子部件521中的两个图像采集装置分别采集得到第一初始图像C1以及第二初始图像C2,另外,通过图7所示可以看出两个初始图像都是针对相同的场景进行的图像采集,并且采集到的为相同的目标区域。

进一步地,由于两个图像采集装置在水平上存在第一距离,所以两个初始图像存在差距,比如,第一初始图像的最左侧的部分图像可能在第二初始图像中的最左侧是采集不到的。

可以理解的是,本实施例前述进行图像采集的部分,可以为通过双目摄像机采集。

另外,上述第一信息获取单元,用于从双目摄像机获取两个初始图像。

所述基于所述针对目标区域的所述第一初始图像以及所述第二初始图像,确定所述目标区域中各个目标点的深度信息,包括:

从所述第一初始图像中选取目标区域的至少一个目标点的图像信息;从所述第二初始图像中选取目标区域的至少一个目标点的图像信息;根据所述第一初始图像以及所述第二初始图像中分别选取得到的针对目标区域的至少一个目标点的图像信息,确定所述至少一个目标点中每一个目标点对应的深度信息。

其中,目标点的图像信息可以包括有:所述目标点中包含的各个像素点的像素信息、以及各个像素点在所在图像中的位置信息。

比如,参见图8,针对目标区域中的同一个目标点在两个初始图像C2以及C1之间时存在视差的,假设目标区域中一个目标点在第一初始图像C1中的坐标位置为C1(x1,y1),在第二初始图像C2中的坐标位置为C2(x2,y2),这两个坐标之间的差值就可以组成视差。

所述方法还包括:获取到所述第一位置与所述第二位置之间的第一距离;

相应的,所述确定所述目标区域中各个目标点的深度信息,包括:

根据所述第一距离、所述第一初始图像以及第二初始图像分别对应的至少一个目标点中每一个目标点对应的图像信息,计算得到所述各个目标点的深度信息。

进一步地,结合图9进行深度信息的计算的说明,通过包含有两个图像采集装置的部件91,分别针对目标区域C进行图像采集,尤其是针对目标区域C中的一个目标点92进行图像采集,在每一个图像采集装置的呈像区域处分别获取到目标点92对应的两个位置坐标(x1,y1)以及(x2,y2);另外由于能够预先知道的为两个图像采集装置之间的第一距离L,每一个图像采集装置的镜头与呈像区域之间的距离D,因此能够通过上述的L、D以及两个位置坐标计算得到两个角度a1以及a2,然后基于上述两个角度以及第一距离L就能够确定目标点的深度信息H。

可以理解的是,图9中给出的仅为针对一个目标点的深度信息的计算方式,在针对图7所示的两个初始图像的处理中,可以将目标区域分成为多个目标点,然后计算得到每一个目标点的深度信息。

所述从所述第一初始图像中选取目标区域的至少一个目标点的图像信息;从所述第二初始图像中选取目标区域的至少一个目标点的图像信息,包括:

将所述目标区域划分为至少一个目标子区域;

从所述第一初始图像中至少一个目标子区域中每一个目标子区域中选取一目标点对应的图像信息;从所述第二初始图像中至少一个目标子区域中每一个目标子区域中选取一目标点对应的图像信息。

具体来说,从目标区域确定多个目标点的方式可以为根据目标区域的场景丰富程度进行目标点的选取,比如,设置在场景较为丰富的区域选取第一数量个目标点,比如,在图10中所示,假设两个初始图像中方块圈定的区域为场景较为丰富的区域,那么可以从其中选取三个目标点,根据这三个目标点分别计算得到深度信息。可以理解的是,上述仅为一个示例,实际处理中可以在图中方框圈定的地方选取更多的目标点,计算深度信息的方式也如前所示,这里不再赘述。

另外,还可以为将目标区域平均的划分为第一预设数量个目标子区域,比如,参见图11,将目标区域划分为多个目标子区域,每一个目标子区域可以均如1101一样。另外,从每一个目标子区域中选取目标点的方式可以为每一个目标子区域中选取第二预设数量个目标点,第二预设数量可以为3个或更多,针对每一个目标点的计算方式如前所示这里不再进行赘述。

所述基于所述第一目标图像以及所述深度信息计算得到第二目标图像,包括:

获取到第三位置;其中,所述第三位置与所述第一目标图像对应的采集位置不同;

根据所述第一目标图像对应的采集位置、深度信息以及所述第三位置,计算得到所述第二目标图像。

基于所述第一目标图像以及所述深度信息计算得到第二目标图像的触发条件可以为,获取到输出指令,当检测到输出指令时计算得到第二目标图像。比如,当应用于穿戴式电子设备,也就是智能眼镜中时,可以在确定输出全景立体图像时控制开始计算得到第二目标图像。

进一步地,所述第一目标图像对应的采集位置可以作为第一目的位置,相应的,所述第三位置可以基于目标用户的两个眼睛之间的第二距离计算得到的第二目对应的位置。具体来说,第二距离可以为预设的也可以为通过穿戴式电子设备在进行第二目标图像的计算之前进行采集得到的。预设的方式可以为根据实际情况由用户进行设置,也可以为穿戴式电子设备进行默认设置,这里不再进行赘述。

另外,第三位置可以为,以所述第一目标图像的采集位置对应的横纵坐标为基础,保持纵坐标不变,在所述采集位置的横坐标的基础上增加第二距离,得到第三位置,也就是说,第三位置与所述第一目标图像的采集位置的纵坐标可以相同。

所述至少根据所述第一目标图像、深度信息以及所述第三位置,计算得到所述第二目标图像,其中的计算方式可以与前述的计算深度信息的方式相反,也就是说,可以包括:基于第一目标图像的采集位置以及第三位置之间的第二距离,以及深度信息,针对所述第一目标图像中目标区域的至少一个目标点的图像信息计算得到对应的第二目标图像中至少一个目标点对应的图像信息,进而组成全部的第二目标图像。

在上述处理的场景上,可以将第一目标图像以及第二目标图像分别向用户的两个眼睛输出,以使得用户分别观察到对应的目标图像,进而感知到最终的具备立体效果的图像。

可见,通过采用上述方案,就能够根据两个初始图像确定目标区域中至少一个目标点对应的深度信息,然后从两个初始图像中选取一个图像作为一个目标图像,根据选取的目标图像以及深度信息计算得到第二目标图像,以能够在不同的输出装置中分别输出上述两个目标图像。如此,就能够避免简单的由两个初始图像进行输出而导致的用户无法在目标区域的全部目标点出均能够感知到对应的深度信息的问题,通过实时根据深度信息以及一个眼睛对应的图像进行另一个眼睛的图像进行计算,保证了用户在任意一个视角观察到的目标点的深度信息的正确性,从而保证了用户的视觉感知无偏差。

实施例四、

本发明实施例提供一种处理装置,如图15所示,所述处理装置包括:

第二信息获取单元1501,用于获取到针对目标区域的第一初始图像以及第二初始图像;其中,所述第一初始图像为基于第一位置采集得到的图像、第二初始图像为基于第二位置采集得到的图像;

第二分析单元1502,用于基于所述针对目标区域的所述第一初始图像以及所述第二初始图像,确定所述目标区域中各个目标点的深度信息;

传输单元1503,用于从所述第一初始图像以及所述第二初始图像中选取第一目标图像,发送所述第一目标图像以及所述深度信息至穿戴式电子设备。

这里,本实施例提供的方法可以应用于处理装置,进一步地,通过处理装置计算得到第一目标图像以及深度信息之后,将第一目标图像以及深度信息发送至穿戴式电子设备,所述穿戴式电子设备可以为智能眼镜,比如,参见图2,用户可以佩戴智能眼镜,然后通过智能眼镜针对两个初始图像进行处理。

两个初始图像的采集方式可以为分别通过设置在第一位置以及第二位置的两个图像采集装置采集得到的初始图像。

其中,设置两个图像采集装置的方式可以参见图3以及图4,图3中在一个装置中设置有两个图像采集装置,分别设置在第一位置31以及第二位置31,这种场景下,两个位置为处于同一水平线上相邻。图4中在一个装置中设置有两个图像采集装置,分别设置在第一位置41以及第二位置42,在图4中所示的场景中两个位置可以为垂直距离上相邻。

上述图3以及图4对于目标区域的采集可以为对某一个方向上的信息的采集。在图3以及图4的基础之上,可以在四个方向上均设置一套图3或者图4中的采集装置进行全方向的图像采集,比如,参见图5和图6。图5中所示的设备,通过固定部件51对整体设备进行固定,然后在东西南北四个方向上均设置一套包含有两个图像采集装置的子部件,分别为子部件521、522、523以及524,其中,每一套子部件中的两个图像采集装置分别设置在各自子部件中的第一位置以及第二位置,具体的描述与图3相同,这里不再进行赘述。图6中所示的设备,则是通过东西南北四个方向设均设置一套包含有图4所示的包含有两个图像采集装置的子部件进行图像采集,其中每一个子部件中包含的两个图像采集装置分别设置在第一位置和第二位置,具体每一个子部件包含的内容如图4所示,这里不再进行赘述。

下面以图5所示的设备进行图像采集,选取其中子部件521中的两个图像采集单元采集得到两个初始图像为例进行说明,比如,参见图7,通过子部件521中的两个图像采集装置分别采集得到第一初始图像C1以及第二初始图像C2,另外,通过图7所示可以看出两个初始图像都是针对相同的场景进行的图像采集,并且采集到的为相同的目标区域。

进一步地,由于两个图像采集装置在水平上存在第一距离,所以两个初始图像存在差距,比如,第一初始图像的最左侧的部分图像可能在第二初始图像中的最左侧是采集不到的。

可以理解的是,本实施例前述进行图像采集的部分,可以为通过双目摄像机采集。

另外,上述步骤1201的处理可以为将双目摄像机采集到的两个初始图像输入到处理装置。

所述基于所述针对目标区域的所述第一初始图像以及所述第二初始图像,确定所述目标区域中各个目标点的深度信息,包括:

从所述第一初始图像中选取目标区域的至少一个目标点的图像信息;从所述第二初始图像中选取目标区域的至少一个目标点的图像信息;根据所述第一初始图像以及所述第二初始图像中分别选取得到的针对目标区域的至少一个目标点的图像信息,确定所述至少一个目标点中每一个目标点对应的深度信息。

其中,目标点的图像信息可以包括有:所述目标点中包含的各个像素点的像素信息、以及各个像素点在所在图像中的位置信息。

比如,参见图8,针对目标区域中的同一个目标点在两个初始图像C2以及C1之间时存在视差的,假设目标区域中一个目标点在第一初始图像C1中的坐标位置为C1(x1,y1),在第二初始图像C2中的坐标位置为C2(x2,y2),这两个坐标之间的差值就可以组成视差。

所述方法还包括:获取到所述第一位置与所述第二位置之间的第一距离;

相应的,所述确定所述目标区域中各个目标点的深度信息,包括:

根据所述第一距离、所述第一初始图像以及第二初始图像分别对应的至少一个目标点中每一个目标点对应的图像信息,计算得到所述各个目标点的深度信息。

进一步地,结合图9进行深度信息的计算的说明,通过包含有两个图像采集装置的部件91,分别针对目标区域C进行图像采集,尤其是针对目标区域C中的一个目标点92进行图像采集,在每一个图像采集装置的呈像区域处分别获取到目标点92对应的两个位置坐标(x1,y1)以及(x2,y2);另外由于能够预先知道的为两个图像采集装置之间的第一距离L,每一个图像采集装置的镜头与呈像区域之间的距离D,因此能够通过上述的L、D以及两个位置坐标计算得到两个角度a1以及a2,然后基于上述两个角度以及第一距离L就能够确定目标点的深度信息H。

可以理解的是,图9中给出的仅为针对一个目标点的深度信息的计算方式,在针对图7所示的两个初始图像的处理中,可以将目标区域分成为多个目标点,然后计算得到每一个目标点的深度信息。

所述从所述第一初始图像中选取目标区域的至少一个目标点的图像信息;从所述第二初始图像中选取目标区域的至少一个目标点的图像信息,包括:

将所述目标区域划分为至少一个目标子区域;

从所述第一初始图像中至少一个目标子区域中每一个目标子区域中选取一目标点对应的图像信息;从所述第二初始图像中至少一个目标子区域中每一个目标子区域中选取一目标点对应的图像信息。

具体来说,从目标区域确定多个目标点的方式可以为根据目标区域的场景丰富程度进行目标点的选取,比如,设置在场景较为丰富的区域选取第一数量个目标点,比如,在图10中所示,假设两个初始图像中方块圈定的区域为场景较为丰富的区域,那么可以从其中选取三个目标点,根据这三个目标点分别计算得到深度信息。可以理解的是,上述仅为一个示例,实际处理中可以在图中方框圈定的地方选取更多的目标点,计算深度信息的方式也如前所示,这里不再赘述。

另外,还可以为将目标区域平均的划分为第一预设数量个目标子区域,比如,参见图11,将目标区域划分为多个目标子区域,每一个目标子区域可以均如1101一样。另外,从每一个目标子区域中选取目标点的方式可以为每一个目标子区域中选取第二预设数量个目标点,第二预设数量可以为3个或更多,针对每一个目标点的计算方式如前所示这里不再进行赘述。

所述基于所述第一目标图像以及所述深度信息计算得到第二目标图像,包括:

获取到第三位置;其中,所述第三位置与所述第一目标图像对应的采集位置不同;

根据所述第一目标图像对应的采集位置、深度信息以及所述第三位置,计算得到所述第二目标图像。

基于所述第一目标图像以及所述深度信息计算得到第二目标图像的触发条件可以为,获取到输出指令,当检测到输出指令时计算得到第二目标图像。比如,当应用于穿戴式电子设备,也就是智能眼镜中时,可以在确定输出全景立体图像时控制开始计算得到第二目标图像。

进一步地,所述第一目标图像对应的采集位置可以作为第一目的位置,相应的,所述第三位置可以基于目标用户的两个眼睛之间的第二距离计算得到的第二目对应的位置。具体来说,第二距离可以为预设的也可以为通过穿戴式电子设备在进行第二目标图像的计算之前进行采集得到的。预设的方式可以为根据实际情况由用户进行设置,也可以为穿戴式电子设备进行默认设置,这里不再进行赘述。

另外,第三位置可以为,以所述第一目标图像的采集位置对应的横纵坐标为基础,保持纵坐标不变,在所述采集位置的横坐标的基础上增加第二距离,得到第三位置,也就是说,第三位置与所述第一目标图像的采集位置的纵坐标可以相同。

所述至少根据所述第一目标图像、深度信息以及所述第三位置,计算得到所述第二目标图像,其中的计算方式可以与前述的计算深度信息的方式相反,也就是说,可以包括:基于第一目标图像的采集位置以及第三位置之间的第二距离,以及深度信息,针对所述第一目标图像中目标区域的至少一个目标点的图像信息计算得到对应的第二目标图像中至少一个目标点对应的图像信息,进而组成全部的第二目标图像。

结合图13对本实施例的处理场景进行说明,首先可以通过双目摄像机1301进行初始图像的采集,将采集得到的初始图像发送至处理装置1302进行处理,这里需要说明的是,处理装置可以为一个服务器也可以为一个电脑,本实施例不对其实施进行具体说明;

进而通过处理装置1302获取到第一目标图像和深度信息之后,将第一目标图像和深度信息发送给穿戴式电子设备1303;

穿戴式电子设备1303根据第一目标图像以及深度信息进行处理得到最终输出给用户的两目图像,将第一目标图像以及第二目标图像分别向用户的两个眼睛输出,以使得用户分别观察到对应的目标图像,进而感知到最终的具备立体效果的图像。

可见,通过采用上述方案,就能够根据两个初始图像确定目标区域中至少一个目标点对应的深度信息,然后从两个初始图像中选取一个图像作为一个目标图像,根据选取的目标图像以及深度信息计算得到第二目标图像,以能够在不同的输出装置中分别输出上述两个目标图像。如此,就能够避免简单的由两个初始图像进行输出而导致的用户无法在目标区域的全部目标点出均能够感知到对应的深度信息的问题,通过实时根据深度信息以及一个眼睛对应的图像进行另一个眼睛的图像进行计算,保证了用户在任意一个视角观察到的目标点的深度信息的正确性,从而保证了用户的视觉感知无偏差。

实施例五、

结合实施例四提供的处理装置,本实施例提供一种信息处理系统,如图16所示,包括:

处理装置1601,用于获取到针对目标区域的第一初始图像以及第二初始图像;其中,所述第一初始图像为基于第一位置采集得到的图像、第二初始图像为基于第二位置采集得到的图像;基于所述针对目标区域的所述第一初始图像以及所述第二初始图像,确定所述目标区域中各个目标点的深度信息;从所述第一初始图像以及所述第二初始图像中选取第一目标图像,发送所述第一目标图像以及所述深度信息至穿戴式电子设备;

穿戴式电子设备1602,用于基于所述第一目标图像以及所述深度信息计算得到第二目标图像,并通过第一输出单元以及第二输出单元分别输出所述第一目标图像以及所述第二目标图像;其中,所述第二目标图像表征能够在第三位置采集到针对所述目标区域的图像。

穿戴式电子设备1602,用于获取到第三位置;其中,所述第三位置与所述第一目标图像对应的采集位置不同;至少根据所述第一目标图像、深度信息以及所述第三位置,计算得到所述第二目标图像。

可见,通过采用上述方案,就能够根据两个初始图像确定目标区域中至少一个目标点对应的深度信息,然后从两个初始图像中选取一个图像作为一个目标图像,根据选取的目标图像以及深度信息计算得到第二目标图像,以能够在不同的输出装置中分别输出上述两个目标图像。如此,就能够避免简单的由两个初始图像进行输出而导致的用户无法在目标区域的全部目标点出均能够感知到对应的深度信息的问题,通过实时根据深度信息以及一个眼睛对应的图像进行另一个眼睛的图像进行计算,保证了用户在任意一个视角观察到的目标点的深度信息的正确性,从而保证了用户的视觉感知无偏差。

本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

或者,本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1