一种基于多摄像头的画面拼接方法和装置与流程

本发明涉及一种光电信息领域，特别是关于一种基于多摄像头的画面拼接方法和装置。

背景技术：

助视器是一种用于改善低视力人群的视觉能力的装置或设备，可使低视力人群的有限视力得到最大限度的利用。电子助视器作为助视器中的一种，可通过配备不同的电子器件实现多样化的功能和优异的性能，在助视器家族中占有重要地位。电子助视器从使用方式上通常可以分为手持式、台式以及头戴式等，其中头戴式电子助视器由于允许用户在移动状态下使用且符合自然用眼习惯而具有广阔的发展前景。尽管如此，在佩戴常规的头戴式电子助视器的情况下，当用户转头(特别是快速转头)时，往往由于显示画面更新不及时而容易造成眩晕感。这会不利地影响产品的使用体验，并给用户的生活带来不便。

技术实现要素：

针对上述问题，本发明的目的是提供一种基于多摄像头的画面拼接方法和装置，其解决了在快速转头状态下由于主视野更新速度慢而导致的用户眩晕的问题。

为实现上述目的，本发明采取以下技术方案：一种基于多摄像头的画面拼接方法，其包括：

步骤1)：布置主摄像头和多个从摄像头，配置成以用户正前注视方向为基准从中心向两侧依次布置，且视野区域以用户头部为中心呈放射状分布；

步骤2)：读取用户头部的运动状态，提取用户头部在航向角方向的角速度；

步骤3)：将获取的航向角方向的角速度与预设阈值比对，其中当所述航向角方向的角速度小于阈值时，启动注视模式，使所述主摄像头的画面直通显示；当所述航向角方向的角速度大于阈值时，启动视野拼接模式，根据用户头部的航向角位移从所述从摄像头的画面中抠图，选择相应画面，经计算人眼视野后缩放显示。

在一个优选的实施例中，所述步骤1)中，以用户正前注视方向为基准，将所述主摄像头和多个从摄像头从中心向两侧依次布置；其中所述主摄像头的视野接近人眼视野，相对于从摄像头的清晰度高；所述从摄像头的视野大于人眼视野，相对于主摄像头的刷新率高。

在一个优选的实施例中，当所述航向角方向的角速度由大于阈值变为小于阈值时，或由小于阈值变为大于阈值时，所述视野拼接模式切换为所述注视模式，或所述注视模式切换为所述视野拼接模式；

所述切换的步骤包括：将来自所述主摄像头的视频源和所述从摄像头的视频源的源码进行相关比对，将切换后的视频源的图像移动到与切换前的视频源的图像相关度最高的位置，然后在下一帧画面中，用来自切换后的视频源的图像替代来自切换前的视频源的图像。

在一个优选的实施例中，所述抠图的步骤包括：将来自所述从摄像头的原始画面，依据所述航向角位移指定的方向选择抠图的中心位置，依据所述主摄像头的视野选择抠图的左右边界。

在一个优选的实施例中，当抠图的左右边界超出所述从摄像头的视野时，用历史数据进行补充。

一种基于多摄像头的画面拼接装置，其包括：

主摄像头和多个从摄像头，配置成以用户正前注视方向为基准从中心向两侧依次布置，且视野区域以用户头部为中心呈放射状分布；

运动监测单元，配置成可读取用户头部的运动状态，提取用户头部在航向角方向的角速度；

处理单元，分别与所述主摄像头、多个从摄像头和运动监测单元连接，并配置成可将所述运动监测单元测量的航向角方向的角速度与预设阈值比对，选择输出来自所述主摄像头的画面或来自所述从摄像头的画面；

视野拼接单元，与所述处理单元连接，并配置成可根据用户头部的航向角位移从所述从摄像头的画面中抠图，选择相应画面，并经计算人眼视野后缩放；

显示单元，与所述视野拼接单元连接，并配置成可显示来自所述主摄像头的画面或来自所述从摄像头的画面。

在一个优选的实施例中，所述装置采用头戴式显示装置的形式。

在一个优选的实施例中，所述处理单元中，当所述航向角方向的角速度小于阈值时，所述显示单元直通显示来自所述主摄像头的画面；当所述航向角方向的角速度大于阈值时，所述显示单元显示来自所述从摄像头并经所述视野拼接单元抠图处理后的缩放画面。

在一个优选的实施例中，所述运动监测单元包括惯性模块。

一种助视器，其包括上述的基于多摄像头的画面拼接装置。

本发明由于采取以上技术方案，其具有以下优点：本发明通过主摄像头和从摄像头分别采集用户前方视野和边缘视野画面，同时实时监测用户头部姿态，当发生快速转头时利用从摄像头已存储的相应角位移的边缘视野画面替代主视野画面，由此解决了在快速转头状态下由于主视野更新速度慢而导致的用户眩晕的问题。

附图说明

图1是本发明的基于多摄像头的画面拼接方法流程图。

图2是本发明的基于多摄像头的画面拼接装置结构示意图。

图3是本发明的主摄像头和从摄像头的布置示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供的基于多摄像头的画面拼接方法和装置中，通过多路摄像头采集多个不重合的视角的画面，其中采集用户视野正前方的摄像头为主摄像头，采集用户边缘视野的摄像头为从摄像头；同时，通过运动监测单元计算用户的姿态，当用户发生快速转头运动时利用边缘视野的已经存储的画面进行动态变换后替代主视野画面。由于边缘视野的画面在视角上与转头运动到达的目标位置相一致，由此解决了快速转头时由于主视野更新速度慢导致的用户眩晕问题。

根据本发明的基于多摄像头的画面拼接方法和装置特别有利地适合应用于例如助视器中。

下面以用户快速转头90°作为实施例，描述通过本发明的方法和装置实现多路视频拼接的画面显示的过程。

如图1所示，本发明的基于多摄像头的画面拼接方法10包括以下步骤：

s11：提供主摄像头和多个从摄像头，以用户正前注视方向为基准，将所述主摄像头和多个从摄像头从中心向两侧依次布置，并使其视野区域以用户头部为中心呈放射状分布，其中所述主摄像头的视野接近人眼视野，相对于从摄像头的清晰度高；所述从摄像头的视野大于人眼视野，相对于主摄像头的刷新率高。

如图2所示，本发明的基于多摄像头的画面拼接装置20(以下简称为“装置20”)包括处理单元21，以及分别与处理单元21连接的主摄像头22和多个从摄像头23。装置20还包括运动监测单元24和视野拼接单元25，其分别与处理单元21连接。此外，装置20还包括与视野拼接单元25连接的显示单元26。

如图3所示，在基于多摄像头的画面拼接装置30上，以用户正前注视方向为基准，从中心向两侧依次布置主摄像头31和4个从摄像头32(每侧2个)，并且主摄像头31和4个从摄像头32的视野区域(图中以虚线绘制)以用户头部为中心呈放射状分布。此外，主摄像头31的视野接近人眼视野且清晰度高于从摄像头32，而从摄像头32的视野大于人眼视野且刷新率高于主摄像头31。由图3亦可见，主摄像头31的视野范围小于从摄像头32的视野范围。

s12：读取用户头部的运动状态，提取用户头部在航向角方向的角速度。

在本实施例中，用户经历了快速转头90°的过程，其中用户转头的角速度从0增大至超过阈值，在达到最大值后开始减小，并在再次越过阈值后减小至0。在该过程中，运动监测单元24持续测量用户头部转动的角速度，并将测量结果发送至处理单元21。

s13：将获取的航向角方向的角速度与预设阈值比对，其中当所述航向角方向的角速度小于阈值时，启动注视模式，使所述主摄像头的画面直通显示；当所述航向角方向的角速度大于阈值时，启动视野拼接模式，根据用户头部的航向角位移从所述从摄像头的画面中抠图，选择相应画面，经计算人眼视野后缩放显示。

与上述用户转头的角速度变化过程对应地，假定当用户头部相对于正前注视方向的角位移为α°时其角速度开始大于阈值，并且当用户头部相对于正前注视方向的角位移为β°时其角速度开始小于阈值，则在此情况下：

在用户头部相对于正前注视方向的角位移为0°～α°的区间内，处理单元21通过比较判定用户头部转动的角速度小于阈值，此时控制显示单元26直通显示来自主摄像头22的画面；

在用户头部相对于正前注视方向的角位移为α°～β°的区间内，处理单元21通过比较判定用户头部转动的角速度大于阈值，此时视野拼接单元25将来自从摄像头23的原始画面作为纹理贴在柱状体内侧，根据用户头部的角位移从从摄像头23的画面中抠图并缩放，然后将来自主摄像头22的视频源和从摄像头23的视频源的源码进行相关比对，在下一帧画面中用来自从摄像头23的视频源的图像替代来自主摄像头22的视频源的图像，由此控制显示单元26显示来自从摄像头23并经视野拼接单元25抠图处理后的缩放画面；

在用户头部相对于正前注视方向的角位移为β°～90°区间内，处理单元21通过比较判定用户头部转动的角速度小于阈值，此时控制显示单元26再次直通显示来自主摄像头22的画面。

综上，根据本发明的基于多摄像头的画面拼接方法和装置实现了多路视频拼接的画面显示，其通过将前方视野中的实时画面和边缘视野中最接近的历史画面相结合，最大限度地缓解了因快速转头时主视野更新速度慢而导致的用户容易眩晕的问题。

上述各实施例仅用于说明本发明，各个步骤及各部件的设置位置及形状都是可以有所变化的，在本发明技术方案的基础上，凡根据本发明原理对个别步骤及部件进行的改进和等同变换，均不应排除在本发明的保护范围之外。