一种多投影的图像显示方法及其系统与流程

本发明涉及图像显示控制技术领域，尤其涉及的是一种投影显示方法及其系统。

背景技术：

目前市面上流行着很多微型智能投影仪，其投影功能与传统投影仪基本没有变化，只是投影质量和投影亮度方面存在差异，因此其在家庭中或者在小型会议上的应用比较广泛，但是由于微型智能投影仪受到光路设计和投影功率的限制，若需要在播放超宽画幅图像/视频内容，或在较小的室内空间中进行大面积投影，或在较亮环境中使用等情况下会存在种种限制，影响播放效果。

因此，现有技术有待于进一步的改进。

技术实现要素：

鉴于上述现有技术中的不足之处，本发明的目的在于为用户提供一种多投影的图像显示方法及其系统，克服现有技术中投影系统，尤其是微型智能投影仪，投影出的图像画面面积小或者其亮度低等缺陷。

本发明解决技术问题所采用的技术方案如下：

一种多投影的图像显示方法，其中，包括以下步骤：

A、按照预定的投影单元的开启顺序，排列第一的投影装置对保存的投影图像进行投影显示；

B、排列在后的投影装置依次获取排列在前投影装置投影出的图像，将获取的图像作为融合或者拼接的目标图像，进行所述目标图像与待投影图像的特征点匹配，并根据匹配结果得到所述目标图像与待投影图像之间的单应矩阵；

C、排列在后的投影装置根据所述单应矩阵对待投影图像进行调整后，将待投影图像与所述目标图像进行融合或拼接显示。

所述的多投影的图像显示方法，其中，所述步骤A之前还包括：

A01、建立所述至少两个投影装置之间的通讯连接和时钟同步。

所述的多投影的图像显示方法，其中，所述步骤B中所述排列在后的投影装置通过摄像头获取排列在前投影装置投影出的图像包括：

B1、排列在后的投影装置通过摄像头获取排列在前投影装置投影出的图像，并获取所述图像中每个特征点所对应的像素坐标。

所述的多投影的图像显示方法，其中，所述步骤B中包括：

B2、分别获取目标图像中的特征点描述子和所述待投影图像的特征点描述子；

B3、利用特征点匹配算法对两组特征点描述子进行匹配，得到单应矩阵。

所述的多投影的图像显示方法，其中，所述步骤C中投影装置完成待投影图像的投影显示后，启动排列在后一个的投影装置进行目标图像与待投影图像的融合或拼接操作，依次完成整个待投影图像的融合或者拼接显示。

一种多投影的图像显示系统，其中，包括：

第一分区图像显示模块，用于按照预定的投影单元的开启顺序，排列第一的投影装置对保存的投影图像进行投影显示；

图像匹配模块，用于排列在后的投影装置依次获取排列在前投影装置投影出的图像，将获取的图像作为融合或者拼接的目标图像，进行所述目标图像与待投影图像的特征点匹配，并根据匹配结果得到所述目标图像与待投影图像之间的单应矩阵；

融合拼接模块，用于排列在后的投影装置根据所述单应矩阵对待投影图像进行调整后，将待投影图像与所述目标图像进行融合或拼接显示。

所述的多投影的图像显示系统，其中，所述系统还包括：

同步连接模块，用于建立所述至少两个投影装置之间的通讯连接和时钟同步。

所述的多投影的图像显示系统，其中，所述图像匹配模块还包括：

图片信息获取单元，用于排列在后的投影装置通过摄像头获取排列在前投影装置投影出的图像，并获取所述图像中每个特征点所对应的像素坐标。。

所述的多投影的图像显示系统，其中，所述图像匹配模块包括：

特征点获取单元，用于分别获取目标图像中的特征点描述子和所述待投影图像的特征点描述子；

匹配计算单元，用于利用特征点匹配算法对两组特征点描述子进行匹配，得到单应矩阵。

所述的多投影的图像显示系统，其中，所述融合拼接模块中还包括：

依次投影单元，用于排列在前的投影装置完成待投影图像的投影显示后，启动排列在一个的投影装置进行目标图像与待投影图像的融合或拼接操作，依次完成整个待投影图像的融合或者拼接显示。

有益效果，本发明提供了一种多投影的图像显示方法及其系统，通过排列第一的投影装置对保存的投影图像进行投影显示；排列在后的投影装置获取排列在前投影装置投影出的图像信息，依次将获取的图像作为融合或者拼接的目标图像，进行所述目标图像与待投影图像的特征点匹配，并根据匹配结果得到单应矩阵,根据所述单应矩阵对所述待投影图像进行调整后，将待投影图像与所述目标图像进行融合或拼接显示。本发明所述的方法及其系统，通过多台投影仪协同工作时，利用机器视觉图像算法，自动修正投影图像，使得多台机器同时工作状态下能够实现播放超宽画幅，超大画幅，提高投影亮度等功能，为用户利用微型投影仪进行超宽、超大或者高度画幅的图像进行投影显示，提供了方便。

附图说明

图1是本发明的一种多投影的图像显示方法的步骤流程图。

图2是本发明所述方法中融合模式下的图像显示的示意图。

图3是本发明所述方法中拼接模式下的图像显示的示意图。

图4是本发明所述方法中融合模式下投影图像的具体应用实施例的步骤流程图。

图5是本发明所述方法中拼接模式下投影图像的具体应用实施例的步骤流程图。

图6是本发明所述系统的原理结构示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

本发明提供了一种多投影的图像显示方法，如图1所示，所述方法包括以下步骤：

S1、按照预定的投影排列顺序，排列第一的投影装置对保存的图像进行投影显示。

根据预定的投影排列顺序，首先进行排列第一的投影装置对其内保存的图像进行投影显示。具体的，所述投影排列顺序为：按照分区图像中在待投影图像中位置从上到下，从左到右，依次对分区图像进行拼接显示，或者也可以按照从待投影图像中位于中间的分区图像开始，依次进行与其相邻分区图像的拼接。若投影的为整个图像，可以根据投影装置之间的位置关系进行相应的投影排列顺序设置。

可以想到的是，将待投影图像的整体图像（当需要至少两个投影装置同时投影同一个图像时，即将多个相同的图像相融合）或者将划分的至少两个分区图像（当需要通过图像拼接在一起，播放同一个图像时，即多个分区图像拼接成一个整体图像）分别对应的保存到投影装置中，形成一个投影阵列。

所述投影装置为投影仪或者其他可以进行图像投影的设备。由于本发明所要解决的问题是图像投影的区域小及亮度低的问题，因此本发明诉讼方法运用在微型家用智能投影仪上效果较为明显。

S2、排列在后的投影装置依次获取排列在前投影装置投影出的图像，将获取的图像作为融合或者拼接的目标图像，进行所述目标图像与待投影图像的特征点匹配，并根据匹配结果得到所述目标图像与待投影图像之间的单应矩阵；

由于在步骤S1中可以投影出排列第一的分区图像，则在本步骤中以该图像为目标图像，对目标图像上的图像进行解析，获取其特征点，并将获取的特征点与待投影图像上的特征点进行匹配，从而确定对待投影图像的调整参数，使其可以与目标图像进行很好的拼接或者融合。

具体的，本步骤中所述排列在后的投影装置通过摄像头获取排列在前投影装置投影出的图像包括：

S21、排列在后的投影装置通过摄像头获取排列在前投影装置投影出的图像，并获取所述图像中每个特征点所对应的像素坐标。

S22、分别获取目标图像中的特征点描述子和本投影装置内部保存的待投影图像的特征点描述子；

常见方法有SURF，SIFT，Harris等。

下面以Harris特征点为例，对特征点描述子的获取方法进行详细的说明。

Harris 角点检测算法是一种基于信号的点特征提取算子，它的思想是在图像中设计一个局部检测窗口，当该窗口沿各个方向作微小移动时，考察窗口的平均能量变化，当该能量变化值超过设定的阈值时，就将窗口的中心像素点提取为角点。Harris特征点检测公式为：

；

其中，w(x,y)为窗函数，为图像灰度的梯度值。w(x,y)可为矩形窗或高斯窗。

对于每个小的位移量(u,v)，检测公式可双线性近似表示为：

，其中；设k1，k2是矩阵M的两个特征值，则可表示局部自相关函数的曲率。

实际运用中用来计算角点的响应函数可以写成：

；

其中det(M)=k1×k2,trace(M)=k1+k2。当某个区域矩阵M的行列式很大时，则表明这是一条边或一个角点，coef一般取经验值0.04。因此通过上述函数可以获取目标图像的特征值描述子。

S23、利用特征点匹配算法对两组特征点描述子进行匹配，得到单应矩阵。现有技术中，将两组特征点描述子进行匹配，常见特征点匹配算法有Brute-force算法，Hausdorff距离法等。

这里以Brute-force算法为例，对其匹配方法进行详细的说明，Brute-Force算法简称为BF算法，亦称为简单匹配算法，其基本思路是：从特征点集A中第一个特征点a1开始和特征点集B中的第一个特征点b1比较，若相等，则继续逐个比较后续的特征点；否则从特征点集B的第二个特征点开始重新与特征点集A的第一个特征点进行比较。以此类推，若从特征点集B的第i个特征点开始，每个特征点依次和特征点集A中的对应特征点相等，则匹配成功；否则，匹配失败。

当匹配完成后，则根据匹配结果得到单应矩阵，具体的：

匹配评价函数常用欧氏距离来计算。若特征子为n维向量，特征子a与特征子b的欧式距离为：

可以根据匹配结果求出单应矩阵H。

S3、排列在后的投影装置根据所述单应矩阵对待投影图像进行调整后，将待投影图像与所述目标图像进行融合或拼接显示。

排列在第二分区图像获取第一分区图像的投影出的目标图像信息，并将所述目标图像信息与其内部保存的待投影图像信息进行匹配，通过匹配结果判断目标图像与待匹配的分区图像或者整体图像之间的单应矩阵，然后根据所述单应矩阵对待投影图像进行调整，并对调整后的待投影图像进行投影显示。

单应矩阵的具体算法如下：

在不同位置和角度上，将目标图像上的每个目标特征点，分别以和表示其在位置A和位置B处的投影像素坐标，其中和分别为从目标图像和待投影图像中获得的像素坐标。经过几何分析可以得知，两者之间通过如下矩阵相关联： ，其中，代表未知的深度比信号。上式展开整理后得到：

；

对于每个参考点而言，根据上述表达式，利用其对应的像素坐标可以为确定矩阵的估计。进一步，利用摄像机的内参数矩阵可以计算得到如下矩阵：

； 其中，；，并且和单应矩阵H满足，因此通过上述计算可以得到单应矩阵H。

通过计算所得单应矩阵H，对待投影内容进行图像变换，即根据单应矩阵H对待投影图像进行平移和透视变换；处理后的图像投影能够与其他投影仪投影内容完美拼接。所述透视投影一般变换公式为：X’=HX,其中X’为校正后像素坐标，X为校正前像素坐标。

因此根据上述的变换公式便可以根据变换后的图像的像素坐标，对待投影图像进行相应的调整，从而将待投影图像与目标图像相互拼接。

为了实现上述方法中投影装置直接播放图像时间的同步，则在所述步骤S1之前还包括：

S01、建立所述至少两个投影装置之间的通讯连接和时钟同步。

由于建立了投影阵列中投影顺序相连的投影装置之间的通讯连接，则当排列在前的投影装置完成投影显示后，可以及时通知排列紧随其后的投影装置开启融合或拼接操作，并且还可以将其投影图像与目标图像保持时钟同步。

由于本发明所述方法中，投影模式可以为将一个图像分割成多个，利用多个投影装置进行拼接投影，可以为多个投影装置对同一个整体图像进行投影，因此所述步骤S1之前还包括：

S02、判断当前投影模式为拼接模式还是融合模式；若为拼接模式，则执行步骤S02，否则不对待投影图像进行划分操作；

S02、按照投影阵列的个数或者预定图像划分个数将待投影图像进行划分，得到待投影图像的分区图像。

对用户选择的投影模式进行判断，如为拼接模式，则将需要按照通讯相连的投影装置个数，或者预设的投影装置个数对图像进行划分，若为融合模式，则不需要对待投影图像进行划分，仅仅对融合的投影装置融合个数进行设置即可。

所述步骤S3中排列在前的投影装置完成投影显示后，启动下一个投影装置执行步骤目标图像与待投影图像的融合或拼接操作，依次完成整个待投影图像的融合或者拼接后的时钟同步显示。

本发明所述方法，利用了利用机器视觉修正算法，自动修正投影仪的投影图像，使得在较自由的播放角度上投影仪均能与其他投影仪投影的图像完美拼接或重叠，从而使得投影仪数量大于2时，能够实现常规投影仪无法实现的播放超宽画幅，超大画幅，提高投影亮度等功能，因此可以想到，本发明所公开的投影装置其需要具有传统投影仪硬件基础之外，还需要添加通信设备、图像采集设备、运算处理器及相关硬件。

下面以其具体实施例的两种不同的投影模式为例，对其做进一步详细的说明。

如图2所述，为本发明所述方法中2个投影装置20对一个整体图像10进行投影时的投影示意图，其是通过使用两个投影装置对同一个图像进行投影，从而增加该投影图像的亮度。

具体的，其步骤流程如图4所示：

H11、建立两个投影装置之间的通讯连接，且保持时钟信息同步。

H12、将待融合投影的整体图像保存到投影装置中。

H13、先开启其中一个投影装置，将其保存在内部的整体图像进行投影显示。

H14、第二个投影装置，通过摄像头获取已经投影的图像信息，将其与保存在其内部的待投影图像进行匹配，获取其当前待投影图像与已投影的图像之间的单应矩阵。

H15、第二个投影装置根据单应矩阵对投影图像进行调整，使其与已投影的图像相融合。

可以想到的是，若相互融合投影的投影装置为多个时，方法步骤相同，仅仅是设置好投影顺序，并依次计算待投影图像与已投影图像之间的单应矩阵，并根据所述单应矩阵对待投影图像进行调整，从而实现投影图像之间的拼接或者融合。

同样的，本发明还公开了一种多投影相互拼接成更大或者更宽图像的方法，其实施例示意图，如图3所示，四个投影装置分别投影一个分区图像，当这四个投影装置投影出的图像拼接在一起时，则可以形成一个更大画面的图像，具体的，其步骤流程如图5所示：

H21、建立四个投影装置之间的通讯连接，且保持时钟信息同步。

H22、将待投影图像划分成四个等大的分区图像，并将四个分区图像依次保存到投影装置中。

H23、先开启其中一个投影装置，将其保存在内部的整体图像进行投影显示。由于本实施例中，设置有四个投影装置，则可以设置为先开启投影左上分区图像的投影装置。

H24、第二个投影装置，通过摄像头获取已经投影的图像信息，将其与保存在其内部的整体图像进行匹配，得到当前待投影图像与已投影的图像之间的单应矩阵。保存右上和左下的分区图像的投影装置，开启并获取左上分区图像的信息特征，计算将其保存的分区图像拼接到目标图像上的单应矩阵。

H15、第二个投影装置，也即左下或者右上的投影装置，根据单应矩阵对投影图像进行调整，使其与已投影的图像相融合。

H16、根据顺时针或者逆时针的排列顺序，依次对分区图像进行投影显示，最终实现整个图像的显示。

图3和图4的方法仅仅为举例使用，在具体实施例中可以同时实现多个投影装置投影出的图像相融合，也可以是对个拼接墙在一起拼接画面。

本发明在公开了上述方法的基础上，还提供了一种多投影的图像显示系统，如图6所示，所述系统包括：

第一分区图像显示模块110，用于按照预定的投影单元的开启顺序，排列第一的投影装置对保存的投影图像进行投影显示；其功能如步骤S1所述。

图像匹配模块120，用于排列在后的投影装置依次获取排列在前投影装置投影出的图像，将获取的图像作为融合或者拼接的目标图像，进行所述目标图像与待投影图像的特征点匹配，并根据匹配结果得到所述目标图像与待投影图像之间的单应矩阵；其功能如步骤S2所述。

融合拼接模块130，用于排列在后的投影装置根据所述单应矩阵对所述待投影图像进行调整后，将待投影图像与所述目标图像进行融合或拼接显示。其功能如步骤S3所述。

所述系统还包括：

同步连接模块，用于建立所述至少两个投影装置之间的通讯连接和时钟同步。

所述图像匹配模块还包括：

图片信息获取单元，用于排列在后的投影装置通过摄像头获取排列在前投影装置投影出的图像，并获取所述图像中每个特征点所对应的像素坐标。

所述图像匹配模块包括：

特征点获取单元，用于分别获取目标图像中的特征点描述子和所述待投影图像的特征点描述子；

匹配计算单元，用于利用特征点匹配算法对两组特征点描述子进行匹配，得到单应矩阵。

所述融合拼接模块中还包括：

依次投影单元，用于排列在前的投影装置完成待投影图像的投影显示后，启动排列在一个的投影装置进行目标图像与待投影图像的融合或拼接操作，依次完成整个待投影图像的融合或者拼接显示。

本发明提供了一种多投影的图像显示方法及其系统，通过将待投影图像的整体图像或者划分的至少两个分区图像保存到至少两个相应的投影装置中；按照预定的投影排列顺序，排列第一的投影装置对保存的图像进行投影显示；排列在后的投影装置依次进行：获取已投影的目标图像信息、将获取的目标图像信息与其内部保存的待投影图像信息进行特征点匹配，计算待投影图像相对于目标图像的单应矩阵、根据所述单应矩阵对待投影图像进行调整后，进行投影图像的融合或拼接显示。本发明所述的方法及其系统，通过多台投影仪协同工作时，利用机器视觉图像算法，自动修正投影图像，使得多台机器同时工作状态下能够实现播放超宽画幅，超大画幅，提高投影亮度等功能，为用户利用微型投影仪进行超宽、超大或者高度画幅的图像进行投影显示，提供了方便。

可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。