应用于全景图像拍摄装置的摄像模块、全景图像拍摄装置以及图像处理系统的制作方法

文档序号:11198506阅读:427来源:国知局
应用于全景图像拍摄装置的摄像模块、全景图像拍摄装置以及图像处理系统的制造方法

本申请涉及图像领域,尤其涉及应用于全景图像拍摄装置的摄像模块、全景图像拍摄装置以及图像处理系统。



背景技术:

现有技术中,全景图像拍摄是指:以某参考点为中心点进行水平360°,垂直方向大于等于180°的范围的拍摄。一般来说,全景拍摄采用全景摄像机进行拍摄,比如由一个拍摄广角为垂直180°、水平360°的全景摄像头拍摄,或者,由前侧后侧两个摄像头组成的全景摄像机拍摄,也可以由多个摄像头从不同角度拍摄组成的全景摄像机进行拍摄。但是这些全景摄像机均存在一个问题就是,清晰度比较低,无法拍到高清视频,无法很好地呈现出在全景图像中用户比较关注的内容和细节。

虽然某些相机诸如gopro具有高清拍摄的能力,但是无法拍摄全景图像。现有技术中通过组装这些高清相机,然后把每个高清相机获得的图像下载到本地,再使用专业软件进行全景拼接的方式来实现全景图像的拍摄,但是,这种方式需要用到多个运动相机,成本比较高,操作起来也比较麻烦,不方便用户,并且,用户也未必需要拍摄全景范围内的所有区域的高清图像,这样也就造成了资源的浪费。

因此,现有技术中的全景相机普遍存在着全景图像清晰度较低,特别是在赛事、会议等领域使用时,注意力容易分散,无法聚焦用户关心的内容进行拍摄的问题,即使通过多个高清相机组装起来拍摄图像后,拼接来获取高清的全景图像,但是这样也会导致拍摄成本过高并且效率低下、不方便用户使用的问题。



技术实现要素:

本申请提供一种应用于全景图像拍摄装置的摄像模块、全景图像拍摄装置以及图像处理系统,能够在解决现在通过全景摄像机拍摄的全景图像清晰度低、多个高清摄像头组合来获取全景图像而导致拍摄效率低下以及不方便用户使用的问题。

根据本申请的第一方面,本申请提供一种应用于全景图像拍摄装置的摄像模块,其包括:摄像模块,摄像模块包括至少两摄像头,摄像头拍摄全景范围 内的图像以供拼接为全景图像,其中,至少一摄像头拍摄的图像的清晰度高于其余摄像头。

优选地,摄像模块包括:用于拍摄全景范围的图像以供拼接为全景图像的第一摄像头或者至少两个第一摄像头组成的摄像头组合;至少一用于拍摄全景范围内的局部区域的图像的第二摄像头,其中,第二摄像头拍摄局部区域的图像的清晰度高于第一摄像头拍摄的图像的清晰度;摄像主体,第一摄像头和第二摄像头设置在摄像主体上。

优选地,摄像模块包括:一第一摄像头、至少一第二摄像头以及摄像主体,第一摄像头为全景摄像头,第一摄像头设置在摄像主体的顶部或者底部的中心位置,第二摄像头设置在摄像主体的一侧面上。

优选地,摄像模块包括:至少一第一摄像头;至少一拍摄图像的清晰度高于第一摄像头拍摄的图像清晰度的第二摄像头,其与第一摄像头拍摄全景范围的图像以供拼接为全景图像;以及摄像主体,第一摄像头和第二摄像头设置在摄像主体上。

根据本申请的第二方面,本申请提供一种全景图像拍摄装置,全景图像拍摄装置包括:如上所述的摄像模块;控制模块,其用于控制摄像模块进行拍摄,其连接摄像模块;以及第一传输模块,其用于发送摄像模块拍摄的图像。

优选地,全景图像拍摄装置还包括:存储模块,其用于保存摄像模块拍摄的图像,其连接摄像模块以及第一传输模块。

根据本申请的第三方面,本申请提供一种图像处理系统,其包括:如上所述的全景图像拍摄装置以及全景图像显示装置;全景图像显示装置,其包括:第二传输模块,用于接收全景图像拍摄装置的第一传输模块传输过来的图像,其与第一传输模块通信连接;处理模块,用于将摄像模块拍摄的图像进行处理并拼接为全景图像,以使全景图像具有单一的清晰度或者使全景图像具有至少两不同清晰度的局部区域,其连接交互模块以及第二传输模块;交互模块,用于供用户通过交互动作选择全景图像中要显示的显示区域;显示模块,用于根据处理模块的处理结果显示全景图像,其连接处理模块;其中,处理模块将摄像模块拍摄的图像进行处理并拼接为单一清晰度的全景图像,显示模块显示全景图像以供用户选择;处理模块判断交互动作选择的显示区域与拍摄图像清晰度较高的摄像头拍摄的局部区域是否具有交集区域,如果是,则处理模块根据交集区域对应的图像在全景图像上的对应位置,将交集区域对应的图像拼接到显示区域对应的图像上,显示模块显示显示区域对应的图像包括交集区域对应的图像,使得显示区域对应的图像具有至少两不同清晰度的局部区域,否则, 显示区域对应的图像仍保持单一的清晰度。

优选地,处理模块包括:判断单元,用于在交互动作选择的全景图像中要显示的显示区域与局部区域是否具有交集区域时,进一步判断交互动作是否满足设定条件,其连接交互模块;拼接单元,用于在交互动作满足设定条件时,根据交集区域对应的图像在全景图像上的对应位置,其连接判断单元。

优选地,显示模块包括:实时显示单元,其连接第二传输模块,其用于实时显示经过处理模块处理的图像;回放单元,其连接第二传输模块,其用于回放保存在全景图像拍摄装置的存储模块的图像。

本申请的有益效果在于:通过摄像头或者摄像头组合来拍摄图像以供拼接为全景图像,并且至少一摄像头拍摄的图像的清晰度高于其余摄像头,使得全景图像中具有至少两不同清晰度的局部区域,这样在获取全景图像的同时,获取用户需要关注局部区域的清晰度更高的图像,这样用户既可以享受全景图像带来的沉浸式体验的优势,也可以获得需要关注的内容的更为清晰的图像,提升了用户的拍摄体验,并且实现起来也比较简单,成本较低,方便用户使用。

附图说明

图1是本申请的全景图像拍摄装置与全景图像显示装置连接的原理示意图;

图2是本申请的摄像模块包括麦克风传感器的示意图;

图3是本申请的摄像模块包括固定连接模块的示意图;

图4是本申请的全景图像拍摄装置的原理图;

图5是本申请第二实施例示出的全景图像拍摄装置的摄像模块第一种形态的示意图;

图6是本申请第二实施例示出的全景图像拍摄装置的摄像模块第二种形态的示意图;

图7是本申请第二实施例示出的全景图像拍摄装置的摄像模块第三种形态的示意图;

图8是本申请第二实施例示出的全景图像拍摄装置的摄像模块第四种形态的示意图;

图9是本申请第二实施例示出的摄像模块设置转动单元的示意图;

图10是本申请第三实施例示出的全景图像显示装置的示意图;

图11是本申请第六实施例示出的全景图像拍摄方法的示意图;

图12是本申请第六实施例示出的全景图像显示方法的示意图。

附图标记说明:全景图像拍摄装置1 摄像模块11 第一摄像头111 第二摄 像头112 摄像主体113 转动单元114 控制模块12 第一传输模块13 存储模块14 全景图像显示装置2 交互模块21 第二传输模块22 显示模块23 处理模块24。

具体实施方式

下面通过具体实施方式结合附图对本申请作进一步详细说明。

首先对一些术语进行描述。VR,全称为Virtual Reality,中文为虚拟现实。

本申请的构思是:通过设置至少两个摄像头,并且使得至少一摄像头拍摄出来的图像的清晰度高于其余摄像头,这样摄像头拍摄的图像拼接得到的全景图像具有至少两种清晰度,这样在获取全景图像的同时,也可以获取清晰度比其它区域较高的局部区域图像。

实施例一:

请参阅图1,本申请的一种全景图像拍摄装置1,其包括:摄像模块11,至少两摄像头,摄像头拍摄全景范围内的图像以供拼接为全景图像,其中,至少一摄像头拍摄到的图像的清晰度高于其余摄像头。控制模块12,其连接摄像模块11,其用于控制摄像模块11进行拍摄。第一传输模块13,其连接处理模块24,其用于发送摄像模块11拍摄的处理后的图像。存储模块14,其用于保存摄像模块11拍摄的图像,其连接摄像模块11以及第一传输模块13。

本实施例中,控制模块12控制该摄像头同步拍摄,保证拍摄时候的时间能够一致。控制模块12可以通过在全景图像拍摄装置1上设置按键来控制拍摄。控制模块12也可以在全景图像拍摄装置1设置遥控器来控制拍摄,具体是,通过遥控器发送控制信号,全景图像拍摄装置1通过无线通信模块接收到控制信号后执行动作,其中控制信号可以为WIFI信号、蓝牙信号、2G/3G/4G信号或者其他通信信号。

本实施例中,第一传输模块13为WIFI模块、蓝牙模块、2G/3G/4G模块。

本实施例中,存储模块14为存储芯片以及存储设备,该存储设备可以是SD内存卡、机械硬盘、SSD硬盘或者flash芯片。

本实施例中,全景图像具有两个或两个以上图像清晰度不同的局部区域。这里需要注意的是,图像清晰度是由拍摄目标物体时拍摄到的图像的单位面积上的像素点个数决定的,目标物体的图像的单位面积的像素点个数越多,就可以看到目标物体越多的细节,图像的清晰度就越高,反之,图像的清晰度就越模糊。

本实施例中,全景图像拍摄装置1拍摄全景范围的全景图像可以通过两种方式实现:第一种方式,通过一摄像头或者摄像头组合拍摄全景范围的图像,另外至少一摄像头拍摄全景范围内的局部区域图像来实现,其中,拍摄局部区域图像的摄像头的拍摄出来的图像的清晰度高于拍摄全景范围的摄像头或者摄像头组合的图像的清晰度;第二种方式,通过两个或两个以上的摄像头组成的摄像头组合来拍摄全景范围的图像,其中至少一摄像头拍摄的图像的清晰度高于其余摄像头。这两种方式,都能够在获得全景图像的同时获取全景范围内的局部区域图像,并且该局部区域图像的清晰度相对于其他区域图像的清晰度更高。

下面举例说明上述全景图像拍摄装置1拍摄全景范围的图像的两种方式:

比如,摄像模块11包括两摄像头,其中一个摄像头为设置在顶部并且拍摄方向朝向天空的全景摄像头,全景摄像头的像素是1080P,拍摄广角为垂直180°、水平360°,用于拍摄全景图像,另一个摄像头的像素是720P,拍摄广角为水平120°、垂直110°,用于拍摄用户设定的全景范围内局部区域的图像。虽然全景摄像头的拍摄像素比较高,但是由于它的拍摄角度比较广,则导致拍摄出来的图像中的图像单位面积上的像素点比较少,这样就显得全景摄像头拍摄的图像不够清晰。而像素为720P的摄像头因为拍摄角度比1080P要小,所以拍摄出来的图像的单位面积的像素点相对较多,这样像素为720P的摄像头拍摄的图像相对1080P更为清晰。因此,全景图像拍摄装置1拍摄的图像拼接得到的全景图像中具有两种清晰度的局部区域图像。

又比如,摄像模块11包括由三个摄像头组成的摄像头组合来拍摄全景图像,其中三个摄像头的像素分别为4K、2K、1080P,此外,三个摄像头的拍摄广角均是一样的,均为水平120°,垂直360°,其余参数也是一样的。这三个摄像头的差别仅在于像素,显然,像素为4K的摄像头拍摄图像的单位面积上的像素点个数是最多的,因此,4K摄像头拍摄图像的清晰度最高,2K摄像头拍摄图像的清晰度高于1080P的摄像头拍摄图像的清晰度,这样全景图像具有三种不同清晰度的局部区域图像。

本实施例中,控制模块12控制该摄像头同步拍摄,保证拍摄时候的时间能够一致。控制模块12可以通过在全景图像拍摄装置1上设置按键来控制拍摄。控制模块12也可以在全景图像拍摄装置1设置遥控器来控制拍摄,具体是,通过遥控器发送控制信号,全景图像拍摄装置1通过无线通信模块接收到控制信号后执行动作,其中控制信号可以为WIFI信号、蓝牙信号或者2G/3G/4G信号。

本实施例中,控制模块12控制该摄像头同步拍摄,保证拍摄时候的时间能 够一致。

全景图像拍摄装置1通过设置摄像头拍摄出来的图像的清晰度不同,实现了把拍摄得到的图像拼接成为全景图像后,全景图像具有至少两个不同清晰度的局部区域。通过这种结构组合,使得全景图像中具有至少两不同清晰度的局部区域,这样在获取全景图像的同时,获取用户需要关注局部区域的清晰度更高的图像,这样用户既可以享受全景图像带来的沉浸式体验的优势,也可以获得需要关注的内容的更为清晰的图像,提升了用户的拍摄体验,并且实现起来也比较简单,成本较低,方便用户使用。

请参阅图2,全景图像拍摄装置1还包括声音采集模块,声音采集模块包括设置麦克风传感器或者由所述麦克风传感器组成的麦克风传感器组合。

例如,当全景图像拍摄装置1主体呈立方体、长方体或者圆柱体的形状时,麦克风传感器可以环绕全景图像拍摄装置1模块一周设置,能够实现水平360°和垂直360°范围的声音采集。当全景图像拍摄装置1主体的形状呈球状时,麦克风传感器则可以环绕球体的圆周进行设置。这样在播放采集的声音的时候,能够还原现场的声音效果,增强拍摄画面的真实感。当然,麦克风传感器也不一定设置在全景图像拍摄装置1上,可以先把麦克风传感器的矩阵队列设置在外部配件上,然后外部配件固定在全景图像拍摄装置1上来实现。

全景图像拍摄装置1结合麦克风传感器特别是麦克风传感器组合具有广泛的应用,比如,应用在现场赛事直播中,在给用户带来视觉沉浸感的同时,也还原了直播现场的声音,使得用户能够更好地感受到现场的气氛,增加用户体验;比如,应用在视频会议的场合下,麦克传感器组合能够真实还原视频会议发声的位置,让通过全景图像拍摄装置1进行与会的人员如在现场参与会议讨论而不会有距离感。

请参阅图3,全景图像拍摄装置1还包括固定连接模块,固定连接模块包括可固定在无人机上与无人机连接的无人机连接组件、可固定连接支架的支架连接组件、可固定在移动终端上并连接移动终端通信接口的移动终端连接组件以及可供用户穿戴的穿戴固定组件中的至少一种。

本实施例中,无人机连接组件包括连接单元以及固定单元,该连接单元可以通过有线或者无线的方式连接无人机,这样全景图像拍摄装置1拍摄的视频可以传输至无人机,再通过无人机传输至控制终端;固定单元可以为吸盘、机械手或者夹持结构等配件。

本实施例中,支架连接组件包括固定单元,一般固定单元会配合支架进行设置,比如支架的顶部设有一延伸出来的连接杆,该连接杆上设有螺纹,则支 架连接组件的固定单元设有螺孔,这样通过连接杆和螺孔的配合,就可以使得全景图像拍摄装置1固定在连接杆上。

本实施例中,移动终端连接组件包括固定单元以及连接接口。该连接接口可以根据移动终端的机型进行设置,比如安卓手机一般使用USB接口,则移动终端连接组件的连接接口可设置为USB接口,苹果手机则使用Lightning C接口,则移动终端连接组件的连接接口可设置为Lightning C接口。而该固定单元可以为夹紧机构,可以夹设在移动终端上。这样用户可以通过移动终端控制该全景图像拍摄装置1,也使得全景图像拍摄装置1可以随身携带和使用。

本实施例中,穿戴固定组件可以是头盔,用户可以佩戴在头上;也可以手套、手环等,用户可以将全景图像拍摄装置1头固定在手臂上。

通过固定连接模块,可以根据实际的需求,设置固定连接模块的结构,从而把全景图像拍摄装置1固定在不同的设备上,使得全景图像拍摄装置1具有更广的应用范围。

实施例二:

请参阅图1和图4,本申请的一种全景图像拍摄装置,其包括:摄像模块11以及控制模块12。摄像模块11包括:用于拍摄全景范围的图像以供拼接为全景图像的第一摄像头111或者至少两个第一摄像头111组成的摄像头组合;至少一用于拍摄全景范围内的局部区域的图像的第二摄像头112,其中,第二摄像头112拍摄的局部区域的图像的清晰度高于第一摄像头111拍摄的图像的清晰度;摄像主体113,第一摄像头111和第二摄像头112设置在所述摄像主体113上。控制模块12,其连接摄像模块11,其用于控制摄像头进行拍摄。

下面举例说明本实施例的摄像模块11的产品形态:

第一种是,请参阅图5,摄像模块11包括:一第一摄像头111、至少一第二摄像头112以及控制模块12摄像主体113,第一摄像头111为全景摄像头,第一摄像头111设置在拍摄系统摄像主体113的顶部或者底部的中心位置,第二摄像头112设置在拍摄系统上,控制模块12连接第一摄像头111和第二摄像头112。

该产品形态中,第一摄像头111为全景摄像头,拍摄全景范围内的图像,第一摄像头111具有垂直方向上大于180°,水平方向上360°的拍摄角度,本实施例中优选第一摄像头111具有垂直方向上240°,水平方向上360°的拍摄角度。因为第一摄像头111是设置在拍摄系统的顶部的,这样第一摄像头111可以拍摄到以水平方向为参考夹角为30°方向上的图像或者视频,而第二摄像头112具有水平160°的拍摄广角。

第二种是,请参阅图6,摄像模块11包括由两个第一摄像头111组成的摄像头组合、至少一第二摄像头112以及摄像主体113。第一摄像头111为全景摄像头,其中一第一摄像头111设置在摄像主体113拍摄系统的一侧,另一第一摄像头111设置在相对摄像主体113拍摄系统一侧的另一侧,第二摄像头112设置在摄像主体113拍摄系统上,控制模块12连接第一摄像头111和第二摄像头112。该产品形态中,该全景摄像头拍摄广角为垂直360°,水平大于等于180°。

第三种是,请参阅图7,摄像模块11包括由多个环绕拍摄系统设置的第一摄像头111组成的摄像头组合、至少一第二摄像头112以及摄像主体113,第一摄像头111环绕设置在摄像主体113拍摄系统,第二摄像头112设置在摄像主体113拍摄系统的任意一侧面的任意位置上,控制模块12连接第一摄像头111和第二摄像头112。

第四种是,请参阅图8,拍摄系统模块1包括多个第一摄像头111组成的摄像阵列、至少一第二摄像头112以及摄像主体113,摄像主体113呈球状,第一摄像头111和第二摄像头112设置在摄像主体113上。

本实施例中,第二摄像头112可以调节拍摄焦距。第二摄像头112调节焦距。

本实施例中,在相同像素的情况下,第二摄像头112的拍摄广角小于所述第一摄像头111的拍摄广角。或者,第二摄像头的拍摄广角小于第一摄像头的拍摄广角的同时,第二摄像头112的像素高于第一摄像头111的像素。

本实施例中,第二摄像头112可拆卸固定在拍摄系统主体13上。具体是,通过在摄像主体113拍摄系统上设置安装位置,第二摄像头112可拆卸固定在不同的安装位置上。以呈立方体形状的摄像主体113拍摄系统为例,在立方体的四个侧面均可以设置安装位置,则第二摄像头112可以根据用户的实际需求安装在摄像主体113拍摄系统前后左右的任意侧面的安装位置上。通过在摄像主体113拍摄系统上设置第二摄像头112的安装位置的方式,可以使得第二摄像头112根据实际需求安装在不同的位置,这样能够更加方便地改变第二摄像头112的拍摄方向,也使得摄像主体113拍摄系统可以安装多个第二摄像头112,这样用户在全景图像中将可以获得更多方向的清晰度更高的图像。

摄像模块还包括设置在摄像主体113拍摄系统上转动单元114,转动单元114可相对摄像主体113拍摄系统转动,第二摄像头112设置在转动单元114上以实现拍摄方向的调节。

请参阅图9,转动单元114可以通过电动或者人工手动的方式调节第二摄像头112的方向。拍摄系统摄像主体113呈圆柱状为例,转动单元114包括一电机 以及一转盘,该电机设置在拍摄系统摄像主体113的底部,电机的转动轴垂直于拍摄系统摄像主体113的底面向下,电机的转动轴连接该转盘,第二摄像头112固定在该转盘上,这样,在电机的驱动下就可以使得该转盘转动,从而改变第二摄像头112的拍摄方向。或者,转动单元114包括一转动轴以及一转盘,转动轴的一端固定在拍摄系统摄像主体113的底部的中心处,该转动轴的另一端固定连接该转盘的中心位置,该转动轴可相对该摄像主体113转动。第二摄像头112固定在该转盘的侧面上,这样,通过手动的方式控制转动轴转动,就可以驱动转盘转动,从而改变第二摄像头112的拍摄方向。

实施例三:

请参阅图1和图10,本申请的一种全景图像拍摄装置,其包括:摄像模块11以及控制模块12。摄像模块11包括:至少一第一摄像头111;至少一拍摄图像的清晰度高于第一摄像头111拍摄的图像的清晰度的第二摄像头112,其与第一摄像头111拍摄全景范围的图像以供拼接合成为全景图像;以及摄像主体113,第一摄像头111和第二摄像头112设置在摄像主体113上。控制模块12,其连接摄像模块11,其用于控制摄像头进行拍摄。

第一摄像头111和第二摄像头112组合拍摄全景图像。因为第二摄像头112的拍摄清晰度高于第一摄像头111,因此全景图像中由第二摄像头112拍摄的图像的清晰度高于全景范围中其它区域的图像。而第二摄像头112的数量可以是一个或者一个以上,这样拼接后的全景图像可以有至少一处清晰度相对于其它区域更高的图像区域,用户可以关注全景图像内多处感兴趣的内容。第二摄像头112的拍摄清晰度的种类也可以具有两种或者两种以上,这样全景区域图像画面可以有多种清晰度,比如两种或者两种以上清晰度的图像区域。因此,第二摄像头112的拍摄图像的清晰度的种类和第二摄像头112的数量均可以根据实际情况进行设置,这里不作限制。

请继续参阅图10,本实施例中,摄像模块11包括四个摄像头,其中两个第一摄像头111,两个第二摄像头112,该摄像主体113呈立方体状,第一摄像头111分别固定设置在该摄像主体113的前后两侧,第二摄像头112分别固定设置在该摄像主体113的左右两侧。在其他实施例中,摄像模块11包括一个第二摄像头112,三个第一摄像头111,该摄像主体113呈立方体状,第二摄像头112固定在立方体的任意一侧面,第一摄像头111固定设置在立方体其余侧面。这里对于第一摄像头111和第二摄像头112的组合方式不作限制,可以根据实际的情况进行设置。另外,第二摄像头112的拍摄清晰度也可以有多种,比如可以 是第一摄像头1111的拍摄像素为480P,第二摄像头112的拍摄像素为720P和1080P。

在其他实施例中,摄像主体113呈球状,摄像主体113包括从各个角度同时拍摄的多个第一摄像头111和第二摄像头112,第一摄像头111和第二摄像头112设置在球状摄像主体113上,构成拍摄全景图像的摄像头组合。摄像头可拆卸固定在摄像主体113上。

本实施例中,处理模块24使所述全景图像具有单一的清晰度或者所述全景图像具有至少两不同清晰度的局部区域的方式有两种:

第一种方式是:处理模块24调节第二摄像头112拍摄的图像的清晰度,可以使得第二摄像头112拍摄的图像清晰度与摄像主体113第一摄像头111拍摄的图像的清晰度一致,或者使得第二摄像头112拍摄的图像清晰度高于摄像主体113第一摄像头111拍摄的图像的清晰度。

第二种方式是:摄像主体113第二摄像头112为可调节拍摄焦距摄像头,摄像主体113控制模块12可控制摄像主体113第二摄像头112调节拍摄焦距,可以使得摄像主体113第二摄像头112的拍摄焦距与第一摄像头111的拍摄焦距一致,或者使第二摄像头112拍摄焦距高于第一摄像头111的拍摄焦距。

本实施例中,第一摄像头111和第二摄像头112可拆卸固定在摄像主体113上。这样就可以更容易实现第一摄像头111和第二摄像头112的位置任意组合,能够按照用户的意愿进行组合拍摄。例如,摄像模块11包括两个第一摄像头111和两个第二摄像头112,初始的组合方式是摄像主体113的前后两侧是第一摄像头111,左右两侧是第二摄像头112,用户可以拆卸第一摄像头111和第二摄像头112改变它们的组合,比如在摄像主体113前侧和左侧安装第一摄像头111,在摄像主体113的后侧和右侧安装第二摄像头112。

实施例四:

请继续参阅图1,本申请的全景图像显示装置2包括:交互模块21、第二传输模块22、显示模块23以及处理模块24。

第二传输模块22,用于接收第一传输模块传输过来的图像,其与第一传输模块13通信连接。处理模块24,用于将摄像模块11拍摄的图像进行处理并拼接为全景图像,以使全景图像具有单一的清晰度或者使全景图像具有至少两不同清晰度的局部区域,其连接第二传输模块22。交互模块21,用于供用户通过交互动作选择全景图像中要显示的显示区域,其连接处理模块24。显示模块23,用于根据处理模块24的处理结果显示全景图像,其连接处理模块24。

其中,处理模块24将摄像模块拍摄的图像进行处理并拼接为单一清晰度的全景图像,显示模块23显示全景图像以供用户选择;处理模块24判断交互动作选择的显示区域与拍摄图像清晰度较高的摄像头拍摄的局部区域是否具有交集区域,如果是,则处理模块24根据交集区域对应的图像在全景图像上的对应位置,将交集区域对应的图像拼接到显示区域对应的图像上,显示模块23显示显示区域对应的图像包括交集区域对应的图像,使得显示区域对应的图像具有至少两不同清晰度的局部区域,否则,显示区域对应的图像仍保持单一的清晰度。

本实施例中,交互模块21可以为按键、触摸屏等交互设备。

本实施例中,第二传输模块22可以为WIFI模块、蓝牙模块、2G/3G/4G模块。

显示模块23包括:实时显示单元,其连接第二传输模块,其用于实时显示经过处理模块处理的图像;回放单元,其连接第二传输模块,其用于回放保存在存储模块的图像。

其中,当用户选择实时显示图像时,第一传输模块13将摄像模块11拍摄到的图像传输至全景图像显示装置2,处理模块24根据交互动作实时处理摄像模块拍摄到的图像,实时显示单元实时显示经过处理后的图像。当用户选择回放图像时,第一传输模块13将保存在存储模块14的图像传输至全景图像显示装置2,处理模块24根据交互动作将存储模块14保存的图像进行处理,回放单元显示经过处理后的图像。

本实施例中,显示模块23为显示屏。

处理模块24包括:判断单元以及拼接单元。判断单元,用于在交互动作选择的全景图像中要显示的显示区域与局部区域是否具有交集区域时,进一步判断交互动作是否满足设定条件,其连接交互模块;拼接单元,用于在交互动作满足设定条件时,根据交集区域对应的图像在全景图像上的对应位置,其连接判断单元。

本实施例中,可以通过设置传感器检测用户设定部位的动作、手势识别技术以及设置输入设备中的至少一种方式来实现交互动作。比如,可以设置遥控器作为输入设备,操作遥控器上的按键来实现选择。又比如,在头戴式虚拟设备的交互当中,可以通过设置方位传感器,监测头部转动到的方位动作来实现交互。又比如,可以通过双目摄像头识别手势来实现交互。

本实施例中,设定条件可以为交互动作是否保持选择动作设定时间,交互动作选择的显示范围与拍摄图像清晰度较高的摄像头拍摄的局部区域的交集范 围是否为设定值,或者,交互动作是否执行设定的操作。

本实施例中,拼接单元为编码芯片。

本实施例中,处理模块24为单片机、DSP芯片、FPGA芯片或者ARM芯片。

在另一实施例中,处理模块24可以在全景图像拍摄装置1上实现,亦既是,摄像模块11完成图像的拍摄后先在全景图像拍摄装置1上通过处理模块24进行处理后,再把处理结果发送至全景图像显示装置2上,在全景图像显示装置的交互界面上进行显示。

下面结合图1至10对本实施例的工作原理进行说明。

因为本申请的拍摄系统具有实现方式,两种方式对应的工作原理也是不同的。

第一种方式是,通过一第一摄像头111或第一摄像头111组合拍摄全景范围内的图像,通过第二摄像头112拍摄全景范围内用户感兴趣的局部区域图像。这样全景图像拍摄装置1可以获得两类码流,一类是第一摄像头111或者第一摄像头111组合拍摄得到的图像的第一码流,另一类是第二摄像头112获得的局部区域图像的第二码流。

交互模块21输出实时显示的交互动作时,处理模块24将该交互动作通过第二传输模块22传输,第一传输模块13接收到该交互动作后发送摄像模块拍摄的相应图像,第二传输模块22对接收到的第一码流进行解压后传输至处理模块24,处理模块24将第一码流编码然后实现拼接,并通过显示模块23显示,显示模块23显示由第一类码流组成的全景图像。当处理模块24的判断单元判断到交互动作选择显示的区域与第二摄像头112拍摄的局部区域有交集区域,并且满足设定条件时,拼接单元根据交集区域的图像在全景图像上的对应位置,将选择到的交集区域图像对应的第二码流拼接到全景图像对应的第一码流上,显示模块显示由第一类码流和第二码流组成的全景图像。

第二种方式是,通过两个或两个以上的摄像头组成的摄像头组合来拍摄全景范围的图像,其中至少一摄像头拍摄的图像的清晰度高于其余摄像头。全景图像拍摄装置1获得的码流包括两类,一类是第一摄像头111拍摄图像获得的第一码流,另一类是第二摄像头112拍摄图像则获得第二码流。

第二种方式与第一种方式基本相同,区别在于,当回放图像时,并且交互动作并未涉及到由第二摄像头112拍摄的局部区域图像的内容时,处理模块24根据交互动作将第二码流的图像清晰度调节至于第一码流的图像清晰度一致,或者,控制模块12调节第二摄像头112的拍摄焦距,使得第二摄像头112可以 获取与第一摄像头111相同的图像清晰度的码流来实现第一码流和第二码流的图像清晰度一致。处理模块24第一码流和调节后的第二码流进行拼接,这样显示模块23显示的全景图像的图像清晰度是一致的。其他的流程这里不再复述,具体参考上面的描述。

以移动终端的交互界面显示全景图像为例进行说明。移动终端的交互界面显示全景图像的初始状态,此时,用户在交互界面上进行选择、放大、缩小、移动图像等操作时,交互模块21监控用户的交互动作,当检测到交互动选择的显示区域与第二摄像头12拍摄的局部区域具有交集区域时,比如交互动作是把局部区域图像进行放大时,处理模块24根据交集区域对应的图像在全景图像上的对应位置,将第二码流与第一码流进行拼接,这样交互界面会在显示全景图像的同时,显示放大后的具有较高清晰度的局部区域图像。又比如交互动作是把图像移动,当交互模块21检测涉及局部区域的图像被移动到交互界面的时候,亦即是,显示模块23显示的内容包含局部区域图像时,处理模块24根据局部区域图像在交互界面所占据的比例,将表示交集区域的第二码流与第一码流进行拼接,这样交互界面就显示出一部分区域清晰于其余区域的图像。

又以在虚拟现实显示设备的应用方面为例进行说明。用VR眼镜观看全景图像时,随着头部的摆动,观看全景图像的显示区域亦即显示窗口会跟随头部的移动方向移动,当显示窗口与第二摄像头12拍摄的局部区域具有交集区域时,判断窗口停留的时间长短,当窗口停留的时间超过设定值时,亦即交互动作满足设定条件时,则认为用户对该部分内容感兴趣,全景图像会发生变化,处理模块24把第二码流与第一码流进行拼接,这样全景图像涉及到交集区域的图像就会相对于第一摄像头111拍摄的图像的部分更为清晰,因此,观看全景图像的窗口就会看到至少两种不同清晰度的图像。只要观看窗口继续往第二摄像头112拍摄的图像的部分方向移动,处理模块24就会继续把第二码流解码,并与第一码流进行拼接。

实施例五:

本申请提供一种图像处理系统,其包括:如上所述的全景图像拍摄装置以及全景图像显示装置。该图像处理系统应用在虚拟现实显示设备方面。

下面对应用在虚拟现实显示设备的工作原理进行说明。

首先,全景图像拍摄装置在赛事、演唱会或者会议现场拍摄全景图像,并且通过拍摄图像的清晰度拍摄系统拍摄全景范围内设定区域的图像。

虚拟现实显示设备的交互模块21监控用户的手势或者头部动作,比如用户 的头部动作从左往右运动的时候,虚拟现实显示设备的交互模块21监控到用户头部动作移动并且涉及到设定区域的图像时,根据用户头部的方向所选择到的全景图像范围中的局部区域,展示相应的局部区域的图像,其中,展示的过程是从不清晰逐渐变换为清晰,这样用户最终看到的画面可能有部分是高清图像,有部分是清晰度相对低一点的图像。

通过这种方式,实现了赛事、演唱会或者会议的现场状况的直播或者回放,用户可以通过虚拟现实显示现实设备获得全景图像的同时,也可以获得自己在全景范围内比较关注的区域的高清图像,比如,在演唱会现场,用户通过这个虚拟现实显示设备既可以获得如同在演唱会的沉浸式的效果,也可以关注演唱会上的表演。因此,这种设备在给予用户沉浸式的效果的同时,也使得用户能够聚焦赛事、演唱会或者会议的内容,也没有失却现场的真实气氛,使得播放效果更为真实,体验更好。

本申请的技术方案的应用范围比较广泛,不仅仅局限于上述的应用,还有诸如个人体育运动、赛事直播、会议直播、现场监控等领域。比如,应用在个人运动记录中,用户可以通过穿戴固定组件将拍摄系统佩戴在身上,这样在运动的过程中,即可以获得运动时的周围环境的变化,也可以清晰地记录用户自身的运动状态,这增加了用户在运动的乐趣,能够提升用户拍摄的体验。

实施例六:

请参阅图11,本申请的一种全景图像拍摄方法,方法包括:

步骤S101:设置摄像模块,摄像模块包括至少两摄像头,摄像头拍摄全景范围内的图像以供拼接为全景图像,其中,至少一摄像头拍摄到的图像的清晰度高于其余摄像头;

本实施例中,摄像模块包括:用于拍摄全景范围的图像以供拼接为全景图像的第一摄像头或者至少两第一摄像头组成的摄像头组合;至少一用于拍摄全景范围内的局部区域的图像的第二摄像头,其中,第二摄像头拍摄的局部区域的图像的清晰度高于第一摄像头拍摄的图像的清晰度;摄像主体,第一摄像头和第二摄像头设置在摄像主体上。

另一施例中,摄像模块包括:至少一第一摄像头;至少一可调节拍摄图像的清晰度高于第一摄像头拍摄的图像清晰度的第二摄像头,其与第一摄像头拍摄全景范围的图像以供拼接为全景图像;以及摄像主体,第一摄像头和第二摄像头设置在摄像主体上。因此,在拍摄全景范围内的图像的步骤中,还包括:当使全景图像具有单一的清晰度时,调节第二摄像头拍摄的图像的清晰度或者 控制第二摄像头的拍摄焦距,使第二摄像头与第一摄像头拍摄图像的清晰度一致;当使全景图像具有至少两不同清晰度的局部区域时,控制第二摄像头调节拍摄焦距,以使第二摄像头拍摄的图像清晰度高于第一摄像头拍摄的图像的清晰度。

步骤S102:设置控制模块,控制模块控制摄像模块进行拍摄。

本实施例中,控制模块控制摄像模块的摄像头进行同步拍摄,保证摄像头拍摄的图像能够在时序上同步。

请参阅图12,本申请的一种图像显示方法,方法包括:

步骤S201:将摄像模块拍摄的图像进行处理并拼接为单一清晰度的全景图像以供用户选择。

步骤S202:通过交互动作选择全景图像中要显示的显示区域。

本实施例中,可以通过设置传感器检测用户设定部位的动作、手势识别技术以及设置输入设备中的至少一种方式来实现交互动作。比如,可以设置遥控器作为输入设备,操作遥控器上的按键来实现选择。又比如,在头戴式虚拟设备的交互当中,可以通过设置方位传感器,监测头部转动到的方位动作来实现交互。又比如,可以通过双目摄像头识别手势来实现交互。

步骤S203:判断交互动作选择的显示区域与拍摄图像清晰度较高的摄像头拍摄的局部区域是否具有交集区域。

步骤S204:如果显示区域与局部区域具有交集区域,则进一步判断交互动作是否满足设定条件,如果是,则跳到步骤S205中,否则,跳到步骤S206中。

本实施例中,设定条件可以为交互动作是否保持选择动作设定时间,交互动作选择的显示范围与拍摄图像清晰度较高的摄像头拍摄的局部区域的交集范围是否为设定值,或者,交互动作是否执行设定的操作。

比如,用户使用头戴式虚拟设备来进行交互的时候,头部动作作为交互动作,当用户头部朝向拍摄图像清晰度较高的摄像头拍摄的局部区域5S的时候,则认为用户选择了该区域作为显示区域设定时间。又或者,只要用户通过头戴式虚拟设备进行交互式,只要用户头部动作朝向到该拍摄图像清晰度较高的摄像头拍摄的局部区域的边界时候,就认为用户选择了该局部区域作为显示区域。步骤S205:根据交集区域对应的图像在全景图像上的对应位置,将交集区域对应的拍摄图像清晰度较高的摄像头拍摄的图像拼接到显示区域对应的图像上。

步骤S206:显示显示区域对应的图像,其中,显示区域对应的图像具有至少两不同清晰度的局部区域。

步骤S207:显示显示区域对应的图像保持单一的清晰度。

在显示显示区域对应的图像具有至少两不同清晰度的局部区域的步骤中,包括:显示局部区域的图像从与其余区域的图像清晰度一致渐变为高于其余区域的图像清晰度。这样的好处是,用户在进行交互选择的时候,不会因为某个区域的图像清晰度较高需要进行图像加载而影响图像的显示速度,特别是图像清晰度越高,显示图像的时候加载的速度就越慢,会影响用户体验。而增加图像清晰度渐变的效果,可以在用户进行高清区域观看之前,快速地浏览全景范围的图像后再进行选择。

下面以头戴式虚拟现实设备为例对本申请的图像显示方法进行说明。

首先,用户通过头戴式虚拟现实设备观看单一清晰度的全景图像,用户通过头部动作的移动选择全景图像中要显示的显示区域,亦既是,通过头戴式虚拟现实设备中的陀螺仪检测用户头部方向的变化,头戴式虚拟现实设备显示区域内显示的图像也跟随变化。又或者,可以通过双目摄像头识别技术,识别手势的变化来控制显示区域的变化,比如,检测到手势从左往右滑动,则显示区域也从全景图像的左侧往右侧滑动。

判断交互动作选择的显示区域与拍摄图像清晰度较高的摄像头拍摄的局部区域是否具有交集区域。亦既是,判断用户头部动作是否选择到由拍摄图像清晰度较高的摄像头拍摄的局部区域的范围。

如果是,则进一步判断交互动作是否满足设定条件。本实施例中,当用户的头部动作停留在某一个区域设定时间,则判断交互动作满足设定条件。或者,用户可以通过遥控器上的确认按键,确认选择该区域作为显示区域。在其它实施例中,也可以只要显示区域与该局部区域有交集的时候,则认为交互动作满足设定条件。

当交互动作满足设定条件时,根据交集区域对应的图像在全景图像上的对应位置,将交集区域对应的图像拼接到显示区域对应的图像上,显示的显示区域对应的图像包括交集区域对应的图像,使得显示区域对应的图像具有至少两不同清晰度的局部区域。亦既是,显示区域对应的图像可能是一半清晰或者一半不清晰的,也可能是有多种清晰度的图像。

而显示显示区域对应的图像时,如果对应的图像具有至少两不同清晰度的局部区域,则显示的时候,会把清晰度较高的局部区域的图像从与其余区域一致的图像清晰度渐变为较高的图像清晰度。

本申请的有益效果在于:通过摄像头或者摄像头组合来拍摄全景图像,并且通过至少一拍摄到的图像的清晰度高于其余摄像头的摄像头拍摄全景范围内 的局部区域图像,能够使得全景图像中具有至少两种不同清晰度的局部区域图像,在获取全景图像的同时,获取用户需要关注局部区域的清晰度更高的图像,这样使得用户即可以获得全景图像,享受全景图像带来的沉浸式体验的优势,也可以使得用户能够获得需要关注的内容的更为清晰的图像,提升了用户的拍摄体验,并且实现起来也比较简单,成本较低,方便用户使用。

本领域技术人员可以理解,上述实施方式中各种方法的全部或部分步骤可以通过程序来指令相关硬件完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器、随机存取存储器、磁盘或光盘等。

以上内容是结合具体的实施方式对本申请所作的进一步详细说明,不能认定本申请的具体实施只局限于这些说明。对于本申请所属技术领域的普通技术人员来说,在不脱离本申请实用新型构思的前提下,还可以做出若干简单推演或替换。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1