图像拼接系统的制作方法

文档序号:25579574发布日期:2021-06-22 15:49阅读:74来源:国知局
图像拼接系统的制作方法

本申请涉及视频图像处理技术领域,特别是涉及一种图像拼接系统。



背景技术:

随着社会的发展,为了满足人们拍摄全景图面的需求,在单个摄像机无法实现全景画面的拍摄的情况下,就需要多个摄像机拍摄不同角度的拍摄图像。然后对多个不同角度的拍摄图像进行拼接,得到最终的全景图像展示给用户。在高清图像拼接的过程中为了保证拼接后全景图像的画面质量以及清晰度,需要强大的算力对多个摄像机拍摄的高清图像进行拼接。但是算力越高功耗越大,服务器的压力也会越大。这种情况下,服务器为了实现对高达几十路的视频流的拼接,需要配置gpu等加速卡,从而导致功耗过大,而且设备体积笨重并且不利于设备安装和使用。

针对上述的现有技术中存在的现有的全景视频拼接系统使用强大的算力对多个高清图像进行拼接保证拼接后全景图像的质量,造成了功耗大以及服务器造成的压力大的技术问题,目前尚未提出有效的解决方案。



技术实现要素:

本公开提供了一种图像拼接系统,以至少解决现有技术中存在的现有的全景视频拼接系统使用强大的算力对多个高清图像进行拼接保证拼接后全景图像的质量,造成了功耗大以及服务器造成的压力大的技术问题。

根据本申请的一个方面,提供了一种图像拼接系统,包括:多个视频采集卡以及与视频采集卡通信连接的第一视频拼接子系统,其中视频采集卡分别与对应的多个摄像机连接,并且用于从多个摄像机接收多路视频图像,并对多路视频图像进行拼接,生成第一拼接视频图像;以及第一视频拼接子系统用于对从多个视频采集卡接收的多路第一拼接视频图像进行拼接,生成第二拼接视频图像。

可选地,第一视频拼接子系统包括:多个第一级视频拼接卡;以及第二级视频拼接卡,其中第一级视频拼接卡分别与对应的多个视频采集卡通信连接,用于将从对应的多个视频采集卡接收的多路第一拼接视频图像进行拼接,生成第三拼接视频图像;以及第二级视频拼接卡与多个第一级视频拼接卡通信连接,用于对从多个第一级视频拼接卡接收的多路第三拼接视频图像进行拼接,生成第二拼接视频图像。

可选地,视频采集卡设置有:图像输入接口,图像输入接口与对应的多个摄像机连接;图像处理器,图像处理器与图像输入接口连接;第一图像拼接模块,第一图像拼接模块与图像处理器连接;以及视频输出接口,视频输出接口与第一图像拼接模块连接。

可选地,第一级视频拼接卡设置有:第一视频输入接口,第一视频输入接口与对应的视频采集卡的视频输出接口通信连接;第二图像拼接模块,第二图像拼接模块与第一视频输入接口连接;以及第一视频编解码模块,第一视频编解码模块,与第二图像拼接模块连接;以及第一网口,第一网口与第一视频编解码模块连接。

可选地,第二级视频拼接卡设置有:第二网口;第二视频编解码模块,第二视频编解码模块与第二网口连接;以及第三图像拼接模块,第三图像拼接模块与第二视频编解码模块连接。

可选地,还包括:网络交换机,网络交换机与第一网口以及第二网口通信连接。

可选地,还包括:与网络交换机通信连接的终端设备。

可选地,视频采集卡还设置有:视频编码模块,视频编码模块与第一图像拼接模块连接;以及第三网口,第三网口与视频编码模块连接,并与网络交换机通信连接。

可选地,视频采集卡还设置有第一数据传输接口,第一数据传输接口与视频编码模块连接;第一级视频拼接卡还设置有第二数据传输接口,第二数据传输接口与第一视频编解码模块连接;和/或第二级视频拼接卡还设置有第三数据传输接口,第三数据传输接口与第二视频编解码模块连接。

可选地,还包括:与网络交换机通信连接的第二视频拼接子系统,并且第二视频拼接子系统配置为通过网络交换机与多个视频采集卡通信,并配置用于将从多个视频采集卡接收的多路视频图像进行拼接,生成第四拼接视频图像。

可选地,第二视频拼接子系统包括视频拼接卡,并且第二视频拼接子系统的视频拼接卡包括:第四网口,第四网口与网络交换机通信连接;第三视频编解码模块,第三视频编解码模块与第四网口连接;以及第四图像拼接模块,第四图像拼接模块与第三视频编解码模块连接。

可选地,还包括:与多个视频采集卡连接的行/场同步信号发生器,并且视频采集卡设置有行/场同步信号收发器,行/场同步信号收发器用于接收行/场同步信号发生器发送的行同步信号和/或场同步信号,并将行同步信号和/或场同步信号发送至与视频采集卡连接的多个摄像机。

从而根据本申请实施例提供的图像拼接系统,采用视频采集卡实现多路视频图像的第一级拼接。然后通过第一视频拼接子系统实现对多个第一拼接视频图像的第二级拼接,得到最终的第二拼接视频图像,即广域图像。并且在第一视频拼接子系统中进一步将视频图像进行分级拼接,相比于直接将多个摄像机采集的全部视频图像直接进行拼接的方式,由于采用了视频采集卡和第一视频拼接子系统对采集的视频图像进行多级视频图像的拼接,相比于直接将多个摄像机采集的全部视频图像直接传送到服务器进行拼接的方式,达到了减少服务器的功耗,避免了服务器压力过大的技术效果。同时避免了由于服务器成本过高导致的设备体积庞大不利于使用和安装。进而解决了现有技术中存在的现有的全景视频拼接系统使用强大的算力对多个高清图像进行拼接保证拼接后全景图像的质量,造成了功耗大以及服务器造成的压力大的技术问题。此外,本申请提供用于局部视频图像拼接的第二视频拼接子系统,从而便于用户实时查看采集的局部视频图像。

根据下文结合附图对本申请的具体实施例的详细描述,本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。

附图说明

后文将参照附图以示例性而非限制性的方式详细描述本申请的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解,这些附图未必是按比例绘制的。附图中:

图1是根据本申请实施例所述的图像拼接系统的示意图;

图2a是根据本申请实施例所述的广域拍摄设备的摄像机排列示意图;

图2b是根据本申请实施例所述的拼接后的第二拼接视频图像的示意图;

图3是根据本申请实施例所述的视频采集卡的内部结构示意图;

图4是根据本申请实施例所述的第一级视频拼接卡的内部结构示意图;

图5是根据本申请实施例所述的第二级视频拼接卡的内部结构示意图;

图6是根据本申请实施例所述的图像拼接系统的另一结构示意图;

图7是根据本申请实施例所述的视频拼接卡的拼接过程示意图;

图8是根据本申请实施例所述的视频拼接卡的内部结构示意图;以及

图9是根据本申请实施例所述的多个摄像机同步采集机制的示意图。

具体实施方式

需要说明的是,在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。

为了使本技术领域的人员更好地理解本公开方案,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分的实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本公开保护的范围。

需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换,以便这里描述的本公开的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

图1是根据本申请实施例所述的图像拼接系统的示意图,参考图1所示,图像拼接系统,包括:多个视频采集卡10a~10f以及与视频采集卡10a~10f通信连接的第一视频拼接子系统20,其中视频采集卡10a~10f分别与对应的多个摄像机连接,并且用于从多个摄像机接收多路视频图像,并对多路视频图像进行拼接,生成第一拼接视频图像;以及第一视频拼接子系统20用于对从多个视频采集卡10a~10f接收的多路第一拼接视频图像进行拼接,生成第二拼接视频图像。

正如背景技术中所述的,在高清图像拼接的过程中为了保证拼接后全景图像的画面质量以及清晰度,需要强大的算力对多个摄像机拍摄的高清图像进行拼接。这种情况下,服务器为了实现对高达几十路的视频流的拼接,需要配置gpu等加速卡,从而导致功耗过大,而且设备体积笨重并且不利于设备安装和使用。

有鉴于此,参考图1和图2所示,本申请提供的图像拼接系统包括多个视频采集卡10a~10f。其中视频采集卡10a~10f例如可以是多目采集卡,从而视频采集卡10a~10f可以分别与对应的多个摄像机(例如可以是广域拍摄设备中的摄像机)连接,并且用于从多个摄像机接收多路视频图像,并对多路视频图像进行拼接,生成第一拼接视频图像。其中每个视频采集卡10a~10f可以与2~4个摄像机连接。

具体地,图2a示出了包括多个摄像机的广域拍摄设备的摄像机排列示意图,参考图1和图2a所示,例如广域拍摄设备设置有3排8列的摄像机1~24,那么每个视频采集卡10a~10f例如可以与4个摄像机进行连接。例如参考图1所示,视频采集卡10a与摄像机1~4连接,视频采集卡10b与摄像机9~12连接等等。并且视频采集卡10a可以从摄像机1~4接收4路视频图像,然后视频采集卡10a对接收到的4路视频图像进行拼接,生成由4路视频图像拼接在一起的第一拼接视频图像。此外,其他的视频采集卡10b~10f与摄像机之间的连接以及对接收到的多路视频图像进行拼接的操作可以参考视频采集卡10a,这里就不再一一赘述。从而通过视频采集卡10a~10f可以得到与摄像机1~24对应的6个第一拼接视频图像。

此外,视频采集卡10a~10f的数量不限于6个,可以根据广域拍摄设备的摄像机数量设定。

进一步地,参考图1所示,图像拼接系统还包括与视频采集卡10a~10f通信连接的第一视频拼接子系统20,第一视频拼接子系统20用于对从多个视频采集卡10a~10f接收的多路第一拼接视频图像进行拼接,生成第二拼接视频图像。

具体地,参考图1所示,例如第一视频拼接子系统20可以从视频采集卡10a~10f接收6个第一拼接视频图像,然后对这6路第一视频图像进行拼接,生成第二拼接视频图像。图2b示出了第二拼接视频图像的示意图,参考图2b所示,其中第二拼接视频图像例如可以是最终需要得到的广域图像(包括全景图像)。

此外,视频采集卡10a~10f(例如可以是专有的图像处理器)和第一视频拼接子系统20(例如可以是专有的图像拼接处理器)所使用的拼接卡都是基于专有的soc系统,用于处理多路视频采集和图像拼接,具有功耗小并且集成度高的技术效果。

从而通过本申请实施例提供的图像拼接系统,采用视频采集卡10a~10f实现多路视频图像的第一级拼接。然后通过第一视频拼接子系统20实现对多路第一拼接视频图像的第二级拼接,得到最终的第二拼接视频图像,即广域图像。通过上述对多个摄像机采集的视频图像进行多级拼接的方式,由于采用了视频采集卡10a~10f和第一视频拼接子系统20对采集的视频图像进行多级视频图像的拼接,相比于直接将多个摄像机采集的全部视频图像直接传送到服务器进行拼接的方式,达到了减少服务器的功耗,避免了服务器压力过大的技术效果。同时避免了由于服务器成本过高导致的设备体积庞大不利于使用和安装。进而解决了现有技术中存在的现有的全景视频拼接系统使用强大的算力对多个高清图像进行拼接保证拼接后全景图像的质量,造成了功耗大以及服务器造成的压力大的技术问题。

可选地,第一视频拼接子系统20包括:多个第一级视频拼接卡20a~20b;以及第二级视频拼接卡20c,其中第一级视频拼接卡20a~20b分别与对应的多个视频采集卡10a~10f通信连接,用于将从对应的多个视频采集卡10a~10f接收的多路第一拼接视频图像进行拼接,生成第三拼接视频图像;以及第二级视频拼接卡20c与多个第一级视频拼接卡20a~20b通信连接,用于对从多个第一级视频拼接卡20a~20b接收的多路第三拼接视频图像进行拼接,生成第二拼接视频图像。

具体地,第一视频拼接子系统20包括第一级视频拼接卡20a~20b以及第二级视频拼接卡20c。参考图1所示,第一级视频拼接卡20a例如可以接收视频采集卡10a~10c的3路第一拼接视频图像,从而对接收的3路第一拼接视频图像进行二次拼接,生成第三拼接视频图像。同理,第一级视频拼接卡20b可以从视频采集卡10d~10f接收3路第一拼接视频图像,从而对接收的3路第一拼接视频图像进行二次拼接,生成第三拼接视频图像。此外,第三拼接视频图像仅为不同的第一级视频拼接卡20a~20b拼接的图像,这里的第三拼接视频图像不相同。

进一步地,第二级视频拼接卡20c与第一级视频拼接卡20a和第一级视频拼接卡20b通信连接,用于从第一级视频拼接卡20a~20b接收2路第三拼接视频图像,从而对2路第三拼接视频图像进行进一步拼接,生成最终的第二拼接视频图像,即广域图像。

从而通过将第一视频拼接子系统20分为两级视频拼接卡,对从视频采集卡10a~10f接收的多路第一拼接视频图像再次进行2级拼接,避免了直接将多路视频图像直接传输到服务器进行拼接,从而导致服务器压力过大的技术问题。

可选地,视频采集卡10a~10f设置有:图像输入接口110a~110f,图像输入接口110a~110f与对应的多个摄像机连接;图像处理器120a~120f,图像处理器120a~120f与图像输入接口110a~110f连接;第一图像拼接模块130a~130f,第一图像拼接模块130a~130f与图像处理器120a~120f连接;以及视频输出接口140a~140f,视频输出接口140a~140f与第一图像拼接模块130a~130f连接。

具体地,参考图2a和图3所示,图像输入接口110a~110f例如可以是mipi以及lvds接口等,用于与摄像机1~24连接,从摄像机1~24接收采集的多路视频图像。

例如图像输入接口110a可以与摄像机1~4,从摄像机1~4接收采集的4路视频图像,然后发送至图像处理器120a。图像处理器120a对接收的4路视频图像进行预处理,将视频图像预处理成适于第一图像拼接模块130a进行处理的视频图像。第一图像拼接模块130a对4路预处理后的视频图像进行拼接,生成第一拼接视频图像,然后通过视频输出接口140a传输出去。

其中视频输出接口140a例如可以是mipi以及lvds接口等。此外,其他视频采集卡10b~10f的配置和视频采集卡10a的配置相同,这里就不再一一赘述。从而通过视频采集卡10a~10f的上述配置,实现多路视频图像的初步拼接,进而生成第一拼接视频图像。

可选地,第一级视频拼接卡20a~20b设置有:第一视频输入接口210a~210b,第一视频输入接口210a~210b与对应的视频采集卡10a~10f的视频输出接口140a~140f通信连接;第二图像拼接模块220a~220b,第二图像拼接模块220a~220b与第一视频输入接口210a~210b连接;以及第一视频编解码模块230a~230b,第一视频编解码模块230a~230b,与第二图像拼接模块220a~220b连接;以及第一网口240a~240b,第一网口240a~240b与第一视频编解码模块230a~230b连接。

具体地,参考图4所示,第一级视频拼接卡20a~20b配置的第一视频输入接口210a~210b例如可以是mipi以及lvds接口等,并且与视频采集卡10a~10f的视频输出接口140a~140f配置使用。

例如,第一视频输入接口210a从视频采集卡10a~10c的视频输出接口140a~140c接收3路第一拼接视频图像,然后传输至第二图像拼接模块220a。第二图像拼接模块220a对3路第一拼接视频图像进行拼接,生成第三拼接视频图像,然后传输至第一视频编解码模块230a。第一视频编解码模块230a对第三拼接视频图像进行编码,然后通过第一网口240a传输至第二级视频拼接卡20c。此外,第一级视频拼接卡20b的配置参考第一视频拼接卡20a,这里就不再一一赘述。

从而通过上述方式,完成多路第一拼接视频图像的拼接,并且通过将生成的第三拼接图像压缩后进行传输,减小了网络传输的压力。

可选地,第二级视频拼接卡20c设置有:第二网口210c;第二视频编解码模块220c,第二视频编解码模块220c与第二网口210c连接;以及第三图像拼接模块230c,第三图像拼接模块230c与第二视频编解码模块220c连接。

具体地,参考图5所示,第二级视频拼接卡20c可以通过第二网口210c从第一级视频拼接卡20a~20b的第一网口240a~240b接收2路压缩后的第三拼接视频图像,并发送至第二视频编解码模块220c。第二视频编解码模块220c将接收的压缩后的第三拼接视频图像进行解压后传输至第三图像拼接模块230c。第三图像拼接模块230c将接收的解压后的2路第三拼接视频图像进行拼接,生成第二拼接视频图像并传输至第二视频编解码模块220c。然后第二视频编解码模块220c将接收的第二拼接视频图像进行压缩后通过第二网口210c通过网络传输至终端设备60。从而,通过第二级视频拼接卡20c上述配置实现多路第三拼接视频图像的拼接,进而生成第二拼接视频图像(广域图像)。

可选地,图像拼接系统还包括:网络交换机30,网络交换机30与第一网口240a~240b以及第二网口210c通信连接。

具体地,参考图1所示,网络交换机30用于实现第一级视频拼接卡20a~20b和第二级视频拼接卡20c之间的数据传输。例如,第一级视频拼接卡20a~20b的第一网口240a~240b例如可以通过网络交换机30将压缩后的第三拼接视频图像传输至第二级视频拼接卡20c的第二网口220c。从而通过网络交换机30实现第一级视频拼接卡20a~20b和第二级视频拼接卡20c之间的网络数据传输。

此外,网络交换机30可以提供ntp(网络时间协议)server服务,所有视频采集卡10a~10f、第一级视频拼接卡20a~20b和第二级视频拼接卡20c从ntpserver获取统一的系统时间,使得所有视频采集卡10a~10f、第一级视频拼接卡20a~20b和第二级视频拼接卡20c的时钟源同步(毫秒级同步)。因此,视频采集卡10a~10f或第一级视频拼接卡20a~20b或第二级视频拼接卡20c在通过网络传输一帧视频图像时,会将时间戳信号与一帧视频图像数据一起进行打包并传输。当接收方接收到该数据包后,通过数据包中的时间戳信息。可以实现各个通道之间的视频图像的同步,从而将相同时间戳(或时间戳的信息偏差不大)的图像拼接在一起。

可选地,图像拼接系统还包括:与网络交换机30通信连接的终端设备60。

具体地,参考图1所示,终端设备60例如可以是带有显示器的pc端,操作人员例如通过终端设备60对图像拼接系统进行查看以及处理等操作。例如第二级拼接卡20c的第二网口220c可以通过网络交换机30将压缩后的第二拼接视频图像发送至终端设备60。从而操作人员可以在终端设备60上查看拼接后的第二拼接视频图像,即广域图像。

可选地,视频采集卡10a~10f还设置有:视频编码模块150a~150f,视频编码模块150a~150f与第一图像拼接模块130a~130f连接;以及第三网口160a~160f,第三网口160a~160f与视频编码模块150a~150f连接,并与网络交换机30通信连接。

具体地,参考图3所示,视频采集卡10a~10f还包括视频编码模块150a~150f以及与网络交换机30通信连接的第三网口160a~160f。

例如,视频采集卡10a的视频编码模块150a从第一图像拼接模块130a接收第一拼接视频图像,然后对其进行压缩后通过第三网口160a传输至第一级视频拼接卡20a~20b。此外,其他视频采集卡10b~10f的视频编码模块150b~150f以及第三网口160b~160f,参考视频采集卡10a所述,这里就不再一一赘述。从而通过在视频采集卡10a~10f中设置视频编码模块150a~150f以及第三网口160a~160f对拼接后的第一拼接视频图像进行压缩后传输,进而减小了网络数据传输的压力。

可选地,视频采集卡10a~10f还设置有第一数据传输接口170a~170f,第一数据传输接口170a~170f与视频编码模块150a~150f连接;第一级视频拼接卡20a~20b还设置有第二数据传输接口250a~250b,第二数据传输接口250a~250b与第一视频编解码模块230a~230b连接;和/或第二级视频拼接卡20c还设置有第三数据传输接口240c,第三数据传输接口240c与第二视频编解码模块220c连接。

具体地,参考图3至图5所示,其中第一数据传输接口170a~170f、第二数据传输接口250a~250b以及第三数据传输接口240c例如可以是usb等数据传输接口。

第一数据传输接口170a~170f与第二数据传输接口250a~250f连接,例如可以将压缩后的第一拼接视频图像传输至第一级视频拼接卡20a~20b,以及第二数据传输接口250a~250b例如可以将压缩后的第三拼接视频图像传输至第二级视频拼接卡20c的第三数据传输接口240c。

从而通过在视频采集卡10a~10f设置第一数据传输接口170a~170f、第一级视频拼接卡20a~20b设置第二数据传输接口250a~250b以及第二视频拼接卡20c设置第三数据传输接口240c,实现视频采集卡10a~10f、第一级视频拼接卡20a~20b和第二级视频拼接卡20c之间的有线数据传输,从而在网络交换机30出现故障的情况下,可以进一步保证数据的正常传输。

此外,参考图4所示,第一级视频拼接卡20a~20b的视频输入可以是mipi接口(第一视频输入接口210a~210b)、usb(第二数据传输接口250a~250b)以及网络视频流(第一网口240a~240b)。多路第一拼接视频图像流经过第二图像拼接模块220a~220b完成拼接后,再经过视频压缩后,通过第一网口240a~240b输出。从而通过多个视频采集卡10a~10f、第一级视频拼接卡20a~20b以及第二级视频拼接卡20c实现图像拼接系统(多目拼接系统)的实时广域图像的拼接。

可选地,图像拼接系统还包括:与网络交换机30通信连接的第二视频拼接子系统40,并且第二视频拼接子系统40配置为通过网络交换机30与多个视频采集卡10a~10f通信,并配置用于将从多个视频采集卡10a~10f接收的多路视频图像进行拼接,生成第四拼接视频图像。

具体地,参考图6所示,其中第二视频拼接子系统40例如可以是对多个摄像机采集的视频图像进行局部拼接的局部视频拼接子系统。并且第二视频拼接子系统40与视频采集卡10a~10f通信连接,用于从视频采集卡10a~10f接收用户选择的摄像机采集的视频图像对应的视频图像,从而对用户选择的局部摄像机采集的视频图像进行局部图像拼接。

此外,参考图2a所示,当用户选择的多个摄像机的视频图像为每个视频采集卡10a~10f分别对应一个的情况下,视频采集卡10a~10f无需对视频图像进行拼接等处理,可以直接将视频图像传输至视频拼接卡40a~40b。例如,用户选择查看摄像机4~5、12~13的局部图像的情况下,与之对应的视频采集卡10a~10b、10d~10e无需对接收的视频图像进行处理,直接传输至视频采集卡40a~40b。此外,例如,参考图7所示,例如用户选择查看摄像机1~2、9~10的局部拼接视频图像,那么与摄像机1~2对应的视频采集卡10a对2路视频图像进行第一级拼接,生成拼接视频图像并传输至第二视频拼接子系统40,然后摄像机9~10对应的视频采集卡10b对2路视频图像进行拼接,生成拼接视频图像并传输至第二视频拼接子系统40。最后通过第二视频拼接子系统40对接收的拼接视频图像进行拼接,生成第四拼接视频图像(参考图7右侧所示)。其中第四拼接视频图像为用户想要查看的局部视频图像。

从而通过第二视频拼接子系统40可以拼接广域拍摄设备的局部画面,进而使得用户可以根据需求随时查看对应的局部视频图像。

此外,用户选择需要查看的局部图像内容应该是相邻摄像机拍摄的视频图像,从而可以拼接成完整的局部视频图像。

可选地,第二视频拼接子系统40包括视频拼接卡40a~40b,并且第二视频拼接子系统40的视频拼接卡40a~40b包括:第四网口410a~410b,第四网口410a~410b与网络交换机30通信连接;第三视频编解码模块420a~420b,第三视频编解码模块420a~420b与第四网口410a~410b连接;以及第四图像拼接模块430a~430b,第四图像拼接模块430a~430b与第三视频编解码模块420a~420b连接。

具体地,参考图6所示,第二视频拼接子系统40例如可以包括至少一个视频拼接卡。例如可以设置多个视频拼接卡40a~40b(可以但不限于是2个视频拼接卡),从而满足用户同时查看不相邻的多处局部视频图像。

进一步地,参考图8所示,例如视频拼接卡40a的第四网口410a可以通过网络交换机30从视频采集卡10a~10b(这里的视频采集卡10a~10b只是举例说明,并不限于视频采集卡10a~10b)的第三网口160a~160b接收2路压缩后的第一拼接视频图像(此处所述的第一拼接视频图像仅为视频采集卡拼接的图像),然后发送至第三视频编解码模块420a对压缩后的第一拼接视频图像进行解压。第三视频编解码模块420将解压后的第一拼接视频图像传输至第四图像拼接模块430a。第四图像拼接模块430a对解压后的多路第一拼接视频图像进行拼接,从而生成第四拼接视频图像并传输至第三视频编解码模块420a。第三视频编解码模块420a对第四拼接视频图像进行压缩后传输至第四网口410a,从而第四网口410a可以通过网络交换机30将压缩后的第四拼接图像传输至终端设备60。此外,视频拼接卡40b的操作过程参考视频拼接卡40a所示,这里就不再一一赘述。从而通过视频拼接卡40a~40b的上述设置实现局部视频图像的拼接,从而达到了便于用户对局部画面进行查看的技术效果,并且通过设置多个视频采集卡40a~40b满足用户同时查看不相邻的多处局部视频画像的技术效果。

此外,终端设备60上设置有对压缩后的视频图像进行解压的程序,从而用户可以在终端设备60上对接收的拼接视频图像进行解压后显示。

此外,视频拼接卡40a~40b例如可以是局部视频拼接卡,其可以动态接入相邻图像采集区域(即,相邻的视频采集卡10a~10f)的视频流,完成局部图像拼接并输出。视频接口通过网络接口(即,第四网口410a~410b),通过网络连接不同视频采集卡10a~10f的输出。

可选地,图像拼接系统还包括:与多个视频采集卡10a~10f连接的行/场同步信号发生器50,并且视频采集卡10a~10f设置有行/场同步信号收发器180a~180f,行/场同步信号收发器180a~180f用于接收行/场同步信号发生器50发送的行同步信号和/或场同步信号,并将行同步信号和/或场同步信号发送至与视频采集卡10a~10f连接的多个摄像机。

具体地,参考图9所示,其中摄像机1~24的摄像机传感器是工作在slave模式下的,也就是说,各个摄像机传感器本身并不主动去采集和传输视频图像数据,而是根据接收到的同步信号进行图像采集和传输的。从而在这种方式下,本申请的图像拼接系统通过行/场信号发生器50产生行/场同步信号,并将行/场同步信号发送至各个视频采集卡10a~10f,然后各个采集卡100再将行/场同步信号发送至连接的摄像机传感器。从而,各个摄像机传感器可以在行/场同步信号的驱动下,同时采集一帧或一行视频图像,并进行传输。由此可以实现各个摄像机传感器之间的同步。

从而根据本申请实施例提供的图像拼接系统,采用视频采集卡10a~10f实现多路视频图像的第一级拼接。然后通过第一视频拼接子系统20实现对多个第一拼接视频图像的第二级拼接,得到最终的第二拼接视频图像,即广域图像。并且在第一视频拼接子系统20中进一步将视频图像进行分级拼接,相比于直接将多个摄像机采集的全部视频图像直接进行拼接的方式,由于采用了视频采集卡10a~10f和第一视频拼接子系统20对采集的视频图像进行多级视频图像的拼接,相比于直接将多个摄像机采集的全部视频图像直接传送到服务器进行拼接的方式,达到了减少服务器的功耗,避免了服务器压力过大的技术效果。同时避免了由于服务器成本过高导致的设备体积庞大不利于使用和安装。进而解决了现有技术中存在的现有的全景视频拼接系统使用强大的算力对多个高清图像进行拼接保证拼接后全景图像的质量,造成了功耗大以及服务器造成的压力大的技术问题。此外,本申请提供用于局部视频图像拼接的第二视频拼接子系统40,从而便于用户实时查看采集的局部视频图像。

此外,参考图3所示,视频采集卡10a~10f例如可以是多目采集卡,其中视频采集卡10a~10f具有如下特征:

1.支持2~4路视频图像的实时采集;

2.每个视频采集卡10a~10f支持最多接入4路图像传感器采集;

3.图像传感器数据经过图像处理器处理,并实现多目拼接后,可以直接通过视频输出接口140a~140f(mipi或lvds接口)输出;或者经过视频编码器压缩后通过第一数据传输接口170~170f(usb)和第三网口160~160f输出;

4.视频采集卡10a~10f的视频输出方式:原始视频(mipi接口),压缩视频流(usb,网络);

5.为了实现所有采集设备(摄像机)的同步,每一个视频采集卡10a~10f内置了行/场同步信号收发器180a~180f,行/场同步信号收发器180a~180f接收来自行/场同步信号发生器50的同步信号,并传输给每一个摄像机传感器;摄像机传感器工作在slave模式下,根据来自视频采集卡10a~10f的行/场信号进行曝光。

除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它示例可以具有不同的值。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。

为了便于描述,在这里可以使用空间相对术语,如“在……之上”、“在……上方”、“在……上表面”、“上面的”等,用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是,空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如,如果附图中的器件被倒置,则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而,示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位(旋转90度或处于其他方位),并且对这里所使用的空间相对描述作出相应解释。

在本公开的描述中,需要理解的是,方位词如“前、后、上、下、左、右”、“横向、竖向、垂直、水平”和“顶、底”等所指示的方位或位置关系通常是基于附图所示的方位或位置关系,仅是为了便于描述本公开和简化描述,在未作相反说明的情况下,这些方位词并不指示和暗示所指的装置或元件必须具有特定的方位或者以特定的方位构造和操作,因此不能理解为对本公开保护范围的限制;方位词“内、外”是指相对于各部件本身的轮廓的内外。

以上所述,仅为本申请较佳的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应该以权利要求的保护范围为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1