摄像装置及3D增强现实直播摄像机的制作方法

文档序号:11235163阅读:1164来源:国知局
摄像装置及3D增强现实直播摄像机的制造方法

本发明涉及vr技术领域,尤其是涉及一种摄像装置及3d增强现实直播摄像机。



背景技术:

近几年来,对于vr虚拟现实领域的开发与完善已经上升到了一个全新高度,由于更多底层源的开放,更多的vr虚拟现实技术已应用于电影、购物、家居等各大行业。网络直播等行业的快速兴起及vr眼镜等市场的不断扩张,涌现出广阔的市场需求前景,传统摄像头行业也同样受到波及,急需与时俱进的产品开拓市场,3d增强现实直播摄像机由此应运而生,其开发趋势已逐步成为国内外直播摄像机领域的焦点。



技术实现要素:

本发明旨在至少解决现有技术中存在的技术问题之一。为此,本发明提出一种摄像装置,所述摄像装置可输出3d增强现实场景,使观看者产生身临其境的感觉。

本发明还在于提出一种具有上述摄像装置的3d增强现实直播摄像机。

根据本发明实施例的一种摄像装置,包括:两个镜头,所述两个镜头同向平行设置,每个所述镜头为视角在145度到180度之间的鱼眼镜头,所述两个镜头的中心距离为53mm至68mm之间;处理器,所述处理器分别与所述两个镜头相连以分别将所述两个镜头拍摄的图像转换成视频流。

根据本发明实施例的摄像装置,采用同向双镜头设计,通过两个镜头同时采集拼合投放三维影像,模拟人的真实视角,通过两个镜头同时采集拼合传输三维立体影像,相较于全景相机而言,画面的立体感和沉浸感更加强烈。

在一些实施例中,所述两个镜头的中心距离为63mm。

在一些实施例中,所述处理器对所述两个镜头拍摄的视频进行帧级别同步拼接。

具体地,所述处理器通过实时运算对比时间戳同步两个视频流。

在一些实施例中,摄像装置还包括:音频输入设备,在所述镜头拍摄图像时所述音频输入设备同步记录图像发生场景的声音并转换成音频流,所述处理器分别将所述视频流和所述音频流同步合成。

在一些实施例中,所述处理器具有美图算法,所述处理器对所述两个镜头拍摄的图像进行磨皮处理、美白处理、色彩平衡处理、对比度处理、锐化处理、色调饱和度处理、瘦身处理、滤镜处理和图像修复处理中的至少一种。

在一些实施例中,所述摄像装置具有与所述处理器电连接的有线传输接口和/或无线传输接口。

根据本发明实施例的3d增强现实直播摄像机,包括根据本发明上述实施例所述的摄像装置。

根据本发明实施例的3d增强现实直播摄像机,采用同向双镜头设计的摄像装置,画面的立体感和沉浸感更加强烈。

本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:

图1是根据本发明实施例中的摄像装置所应用的3d增强现实系统的一种组成示意图;

图2是根据本发明实施例中的摄像装置所应用的3d增强现实系统的另一种组成示意图;

图3是根据本发明实施例中的摄像装置的结构示意图;

图4是采用本发明实施例的摄像装置的imx226在曝光及有效数据输出时时序图;

图5是本发明实施例的摄像装置的处理器发送信号图;

图6是传统相机的图像处理流程图,其中,传统图像拼接需要在机外进行,需要先将图像传输出来才能拼合;

图7是根据本发明实施例中的摄像装置的图像处理流程图,其中,图像在机内进行拼接;

图8是传统相机拍摄后播放观影效果图,其中,传统相机即使采用双机位拍摄,配合3d眼镜,也只能做到平面成像;

图9是根据本发明实施例中的摄像装置拍摄后播放观影效果图,其中,摄像装置通过两个鱼眼镜头采集图像,配合vr眼镜与播放器的后半部分虚拟场景的补充,可实现360度*360度球型3d立体成像;

图10是传统相机的机外拼接美化流程示意图;

图11是根据本发明实施例中的摄像装置的机内拼接美化流程示意图;

图12是传统全景相机视角与人眼视角的对比关系示意图;

图13是根据本发明实施例中的摄像装置的镜头视角与人眼视角的对比关系示意图;

图14是传统相机的机外拼接流程示意图;

图15是根据本发明实施例中的摄像装置的机内拼接流程示意图。

附图标记:

3d增强现实系统100、摄像装置10、镜头1、处理器2、传输接口3。

具体实施方式

下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。

下面参考图1-图15描述根据本发明实施例的一种摄像装置10。

需要说明的是,如图1和图2所示,本发明所公开的摄像装置10,是3d增强现实系统100的前端采集部分。3d增强现实系统100通过摄像装置10采集图像,并传输给服务器,采用专业软件进行立体投影输出,应用于vr网络直播、增强现实网络直播、vr视频拍摄以及vr虚拟现实、3d视频电影等图形图像领域。在图1中,摄像装置10可通过云技术传输至播放系统,在图2中,摄像装置10也可直接通过有线或者无线的方式传输至播放系统。

如图3所示,根据本发明实施例的一种摄像装置10,包括:两个镜头1和处理器2,两个镜头1同向平行设置,每个镜头1为视角在145度到180度之间的鱼眼镜头1,两个镜头1的中心距离为53mm至68mm之间。处理器2分别与两个镜头1相连以分别将两个镜头1拍摄的图像转换成视频流,且处理器2对两个镜头1拍摄的视频进行帧级别同步拼接。

其中,两个145度到180度之间的鱼眼镜头1可模拟人眼,具体而言,普通人的人眼瞳距通常在53mm至68mm之间,因此将两个镜头1的中心距离设在53mm至68mm之间,可使两个镜头1模拟人的双眼布置。本发明实施例的摄像装置10将两个镜头1的中心距离优选设置为63mm,能适应大多数玩家的使用要求。

摄像装置10的工作原理为:通过两个145度到180度之间的鱼眼镜头1模拟人眼瞳距水平平行分布,对现实场景进行拍摄,并将两个镜头1所拍摄的内容在摄像装置10的内部通过芯片进行拼合之后,将最终数据传输出去实时播放。

本发明实施例采用模拟人的双眼的双镜头布局,可使拍摄部位为镜头1正前方的人眼习惯性可视区域,能够模拟人的真实视角。也就是说,摄像装置10采用双镜头进行组合拍摄,在取景时两个镜头1的采集视角分别从人的双眼角度出发,从而采集的影像也符合一般人双眼的距离要求。

两个镜头1中,一个镜头1对应人的左眼,另一个镜头1对应人的右眼,两个镜头1拍摄的视频相当于人的双眼看到视频,之后由人的大脑将两个影像进行叠加、处理,反映到脑海中的影像才会立体、生动。

可以理解的是,如果镜头1采集的影像还需要通过软件作过多的叠加处理,不仅软件处理难度较大,影像成像品质下降,而且处理滞后不能保证影像可实时播放。而从本发明实施例中可以看出,在虚拟影像取景时,如果两个镜头1拍摄的角度符合人的双眼观察角度,成像时人的大脑可自动完成影像叠加,镜头1拍出的影像无需做过多叠加处理。减少了图像需要软件处理的工序,避免图像因软件处理不当导致的失真,从而使观影者沉浸感更强。

另外,每个镜头1的视角为145度到180度,可提高图像品质。具体而言,以图8和图9所示的拍摄方式对比可以看出,当镜头拍摄的画面为镜头正前方145度到180度的图像,放弃了镜头后面180度的画面,在相同的像素总和情况下,比起传统360度镜头或广角镜头,拍摄的图像质量相当于传统镜头的两倍以上,大幅度提高了图像质量,图像更为清晰和细腻,画面的立体感和沉浸感也会更加强烈。

而且,如图6和图7的对比所示,镜头1拍摄的图像由处理器2转化为视频流后,后期观影前势必要将两个视频流进行拼合输出。如图6和图7的对比可以看出,当采用传统360度镜头或广角镜头拍摄时,拍出的全局图像拼合工作量大,拼接速度慢,导致无法做到实时播放。而本发明实施例中采用视角为145度到180度的双镜头拍摄,因为不需要拼合前部和后部的画面形成360度的效果,所以不需要做例如等距圆柱投影变换、像素差值和图像缝合等耗费机器性能的操作,既节省了传输带宽(因为各类优化或拼合算法会大量消耗设备本身的运行性能),又减少了对处理芯片的性能要求,具有传输效率高和成本低廉的优势,可实现实时播放。

可以理解的是,人眼视角范围通常小于180度,因此本发明实施例的摄像装置10采用了145度到180度视角的镜头1,在180度范围以外的影像无法被人眼看到,属于无用影像,因此采用视角为145度到180度的镜头1,并不会影响人的正常观影。

综上,可以分析出本发明实施例摄像装置10与传统照相摄像机具有如下不同之处:

一、普通3d成像设备只能拼合传输平面图像,如图8所示,客户无法环视观看,立体感不足;摄像装置10采用两颗鱼眼镜头1对场景进行拍摄,如图9所示,在机内直接拼合成180度*360度的半球影像传输投放出去,立体感与沉浸感更强。

二、如图14和图15的对比所示,普通3d成像设备是由两个芯片分别处理图像,将数据结果进行同布,往往因图像同步不好,导致图像出现虚影,体验者佩戴后短时间内会出现头晕头痛等现象;摄像装置10通过其内部芯片进行帧级别缝合图像,确保了画质的同步性。

三、如图12和图13的对比所示,因3d增强现实摄像装置10采用半球投影图像,放弃后面180度的画面,在播放产品配套的播放器会用虚拟的3d场景对后面的部分进行补充,保证了整体的vr感,虚拟场景采用unity3d物理引擎支撑,是动态效果,并可以进行互动。所以对比360度全景相机,同样的像素总和,摄像装置10把绝大多数的拍摄的有效像素都集中在了正前方的人眼的习惯性可视区域内,所以图像质量相当于普通全景相机的2倍以上,大幅提高了图像质量,图像更为清晰细腻。

四、传统的全景相机或超广角相机在采集图像后需要完全拼合之后才能将图像传输出来,无法做到实时播放,摄像装置10不需要拼合前部和后部的画面形成360度的效果,所以不需要做例如等距圆柱投影变换、像素差值和图像缝合等耗费机器性能的操作,既节省了传输带宽(因为各类优化或拼合算法会大量消耗设备本身的运行性能),又减少了对处理芯片的性能要求,具有传输效率高和成本低廉的优势。

在一些实施例中,摄像装置10还包括:音频输入设备,在镜头1拍摄图像的同时音频输入设备记录图像发生场景的声音并转换成音频流,处理器2分别将视频流和音频流同步合成。具体地,处理器2通过实时运算对比时间戳同步两个视频流。

在一些具体实施例中,处理器2设置有两个sensor(即芯片),两个sensor分别对应两个镜头1设置。同步拼接时,从sensor的功能入手,保证sensor有效数据的输出,与处理器2给到sensor的水平信号、垂直信号分别保持同步。

两个sensor为相同型号的sensor,工作模式上,采用两sensor联动,即两sensor每一帧同时启动曝光,同时结束曝光。采取这样的模式,两sensor上帧时序会完全对齐。例如图4的示例中,展示了一种imx226在曝光及有效数据输出时的时序。

在硬件设计时,也需要确保两个sensor的水平信号、垂直信号分别同步一致,使两个sensor内部曝光控制一致。

具体流程如下,处理器2启动;同时输出两路水平信号、垂直信号分别给到两个sensor,要确保两路水平信号、垂直信号时序同步、一致,如图5所示;处理器2通过控制信号接口,初始化sensor;sensor启动后,处理器2通过控制信号接口同时控制两个sensor,启动曝光,结束曝光;这样两个sensor的帧时序则会完全对齐,即两个sensor是同步的。

将两颗鱼眼镜头1所拍摄后的内容在机内进行帧级别同步拼接,将拼接后的音视频流传输出去供播放器实时播放,避免了因后期同步产生的图像虚影、跳帧等现象,体验者短时间内不会出现头晕头痛等现象。

在一些实施例中,处理器2具有美图算法,处理器2对两个镜头1拍摄的图像进行磨皮处理、美白处理、色彩平衡处理、对比度处理、锐化处理、色调饱和度处理、瘦身处理、滤镜处理和图像修复处理中的至少一种。这种在机内进行美图处理的功能,是传统3d成像设备无法完成的,如图10和图11的对比所示。

通过软件来调试出相应效果,之后由硬件模块对调试出的效果进行接口与功能的匹配,从而实现由摄像装置本身完成如下功能。

包括磨皮、美白、色彩平衡、对比度、锐化、色调饱和度、瘦身、滤镜、图像修复等美图功能,实现方法与效果详细如下:

磨皮:使用专用的降噪模块,通过参数配置,对皮肤进行优化,去掉雀斑、皱纹等,使皮肤细嫩,保证头发、眉毛等细节不缺失。

美白:摄像装置10通过对实时的图像进行采样,通过人脸识别及肤色检测,得到准确的人物肤色数据,根据输入的参数智能地对人物的皮肤进行美白。

色彩平衡和对比度调整:摄像装置10可对rgb三通道进行直方图统计,然后设置调整的上下限,获取图像的阀门值,最后通过公式对图像进行调整。

锐化:使用专用的锐化模块,提高图像的清晰度,通过参数配置,可调节锐化强度,进一步增强图像细节。

色调饱和度调整:根据用户的需求,摄像装置10可对特定的颜色进行增强或减弱,使画面呈现冷、暖等不同变化。

瘦身:摄像装置10通过算法调整画面拉伸裁切,达到瘦身的目的。

滤镜:使用美白柔肤、蓝色妖姬、牧神午后等滤镜,让客户一键获得满意的图像特效。

当然,本发明实施例中摄像装置10还可具备其他功能,摄像装置10机内支持图像坏点校正,颜色可进行失衡校正,摄像装置10机内还能进行宽动态、数字增益、自动白平衡、镜头阴影校正、图像动态范围压缩、分区域去雾等处理。

由于摄像装置10内部自带美图算法,对镜头1所拍摄到的内容在机内进行优化处理,可无需其他软件进行后续美图处理直接输出。既保证了直播的效率,又可以对图像进行优化。

在一些实施例中,摄像装置10具有与处理器2电连接的传输接口3,传输接口3可为有线传输接口和/或无线传输接口。这样摄像装置10可以不依赖外部pc,直接通过以太网接口或wifi接口,向直播服务器推送rtmp音视频流,也可以通过rtsp协议推送到pc或移动设备,配合相应驱动模拟成标准uvc摄像头设备供obs等直播客户端调用,输出3d增强现实场景,使观看者产生身临其境的感觉。

根据本发明实施例的3d增强现实直播摄像机,包括根据本发明上述实施例所述的摄像装置10。

根据本发明实施例的3d增强现实直播摄像机,采用同向双镜头设计的摄像装置10,画面的立体感和沉浸感更加强烈。

当然,本发明实施例的摄像装置10,也可以应用在照相机上,还可以应用到机器人中,例如机器人的双眼采用摄像装置10,从而机器人的双眼可将记录的影像传输至播放器上实现实时播放。

在本发明的描述中,需要理解的是,术语“中心”、“前”、“后”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。

在本说明书的描述中,参考术语“实施例”、“示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1