激光投影设备及投影图像的校正方法与流程

1.本公开涉及电子技术领域，特别涉及一种激光投影设备及投影图像的校正方法。


背景技术：

2.超短焦激光投影设备可以将投影图像投影显示至投影屏幕上。对于超短焦激光投影设备而言，由于投影成像的原理使得光线斜向上出射，因此超短焦激光投影设备中的光学引擎出射的激光光束与投影屏幕之间的位置必须严格对位，超短焦激光投影设备轻微的移位也会导致画面的形变或畸变。若用户不小心移动了超短焦激光投影设备，则超短焦激光投影设备投影显示的投影图像可能会覆盖投影屏幕的顶点，导致显示的投影图像的显示效果较差。


技术实现要素：

3.本公开实施例提供了一种激光投影设备及投影图像的校正方法，可以解决相关技术中在超短焦激光投影设备发生位移时，投影图像的显示效果较差的问题。所述技术方案如下：
4.一方面，提供了一种投影图像的校正方法，应用于激光投影设备，所述激光投影设备包括主机和摄像头，所述摄像头位于所述主机上，所述摄像头的图像采集范围小于所述激光投影设备的投射范围；所述方法包括：
5.响应于校正指令，将第一投影图像投射至投影屏幕，并获取所述摄像头对所述第一投影图像的不同区域拍摄得到的至少两个拍摄图像，其中，所述第一投影图像覆盖所述投影屏幕的四个顶点，每个所述拍摄图像包括所述投影屏幕的至少一个顶点，且所述至少两个拍摄图像包括所述投影屏幕的四个顶点；
6.对于所述投影屏幕的每个顶点，根据所述顶点在目标拍摄图像的第一坐标系与所述顶点在所述第一投影图像的第二坐标系的位置变换关系，以及所述顶点在所述目标拍摄图像中的第一目标位置，确定所述顶点在所述第二坐标系中的第一初始位置，所述目标拍摄图像为所述至少两个拍摄图像中包括所述顶点的拍摄图像；
7.根据所述投影屏幕的四个顶点在所述第二坐标系中的第一初始位置，以及所述第一投影图像的四个顶点在所述第二坐标系中的参考位置，校正第二投影图像的显示效果。
8.另一方面，提供了一种激光投影设备，所述激光投影设备包括主机、摄像头和系统级芯片，所述摄像头位于所述主机上，所述摄像头的图像采集范围小于所述激光投影设备的投射范围；
9.所述系统级芯片，用于：
10.响应于校正指令，将第一投影图像投射至投影屏幕，并获取所述摄像头对所述第一投影图像的不同区域拍摄得到的至少两个拍摄图像，其中，所述第一投影图像覆盖所述投影屏幕的四个顶点，每个所述拍摄图像包括所述投影屏幕的至少一个顶点，且所述至少两个拍摄图像包括所述投影屏幕的四个顶点；
11.对于所述投影屏幕的每个顶点，根据所述顶点在目标拍摄图像的第一坐标系与所述顶点在所述第一投影图像的第二坐标系的位置变换关系，以及所述顶点在所述目标拍摄图像中的第一目标位置，确定所述顶点在所述第二坐标系中的第一初始位置，所述目标拍摄图像为所述至少两个拍摄图像中包括所述顶点的拍摄图像；
12.根据所述投影屏幕的四个顶点在所述第二坐标系中的第一初始位置，以及所述第一投影图像的四个顶点在所述第二坐标系中的参考位置，校正第二投影图像的显示效果。
13.本公开实施例提供的技术方案带来的有益效果至少包括：
14.本公开实施例提供了一种激光投影设备及投影图像的校正方法，该校正方法中激光投影设备可以根据确定的投影屏幕的四个顶点在第二坐标系中的第一初始位置和第一投影图像的四个顶点在第二坐标系中的参考位置，对第二投影图像的显示效果进行校正。由此能够确保将第二投影图像投射至投影屏幕内，且第二投影图像的边缘与投影屏幕的投影区域的边缘对齐，从而确保第二投影图像的显示效果较好。
附图说明
15.为了更清楚地说明本公开实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
16.图1是本公开实施例提供的一种激光投影设备的结构示意图；
17.图2是本公开实施例提供的一种激光投影设备的结构示意图；
18.图3是本公开实施例提供的一种投影图像的校正方法的流程图；
19.图4是本公开实施例提供的一种投影图像的校正方法的流程图；
20.图5是本公开实施例提供的一种第一投影图像的示意图；
21.图6是本公开实施例提供的一种第一投影图像显示在投影屏幕上的示意图；
22.图7是本公开实施例提供的一种目标拍摄图像的示意图；
23.图8是本公开实施例提供的一种第二坐标系的示意图；
24.图9是本公开实施例提供的一种目标特征图形的顶点像素示意图；
25.图10是本公开实施例提供的再一种激光投影设备的结构示意图；
26.图11是本公开实施例提供的一种第二投影图像发生形变的示意图；
27.图12是本公开实施例提供的另一种第二投影图像发生形变的示意图；
28.图13是本公开实施例提供的再一种第二投影图像发生形变的示意图。
具体实施方式
29.为使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开实施方式作进一步地详细描述。
30.图1是本公开实施例提供的一种激光投影设备的结构示意图，如图1所示，该，激光投影设备可以包括主机10和摄像头20，摄像头20位于主机10上。
31.其中，摄像头20为能够转动的摄像机。例如，该摄像头20可以为带有云台的摄像机。该云台能够控制摄像头在不同方向转动，以使摄像头能够从多个角度进行拍摄。
32.参考图2，该主机10上还可以设置有出光口101，该摄像头20在主机10上的正投影与出光口101不重叠，由此能够避免摄像头20遮挡从出光口101出射的影像光束，确保投影图像的显示效果。
33.参考图2，该摄像头20可以位于出光口101远离投影屏幕001的一侧。或者，摄像头20可以位于出光口101的侧面，该侧面与投影屏幕001相交。
34.在本公开实施例中，激光投影设备还可以包括投影镜头，该投影镜头用于将影像光束通过出光口101投射至投影屏幕001，以实现投影图像的显示。其中，该投影镜头可以为超短焦镜头，该超短焦镜头具有较大的视场角。该摄像头20为普通摄像头，即该摄像头20的镜头不是超短焦超广角镜头，因此该摄像头20的图像采集范围小于激光投影设备的投射范围。即摄像头20无法一次性拍摄到整个投影图像，因此摄像头20采集的拍摄图像的分辨率小于投影图像的分辨率。
35.图3是本公开实施例提供的一种投影图像的校正方法的流程图，该方法可以应用于图1或图2所示的激光投影设备。如图3所示，该方法包括：
36.步骤301、响应于校正指令，将第一投影图像投射至投影屏幕，并获取摄像头对第一投影图像的不同区域拍摄得到的至少两个拍摄图像。
37.在本公开实施例中，激光投影设备可以响应于校正指令，将第一投影图像投射至投影屏幕。其中，该第一投影图像可以为激光投影设备中预先存储的图像。
38.其中，该第一投影图像覆盖投影屏幕的四个顶点，该每个拍摄图像可以包括投影屏幕的至少一个顶点，且至少两个拍摄图像可以包括投影屏幕的四个顶点。该第一投影图像、该投影屏幕以及多个拍摄图像可以均为多边形，例如可以均为矩形。
39.步骤302、对于投影屏幕的每个顶点，根据顶点在目标拍摄图像的第一坐标系与顶点在第一投影图像的第二坐标系的位置变换关系，以及顶点在目标拍摄图像中的第一目标位置，确定顶点在第二坐标系中的第一初始位置。
40.激光投影设备在获取到至少两个拍摄图像之后，对于投影屏幕的每个顶点，激光投影设备可以根据该顶点在目标拍摄图像的第一坐标系与该顶点在第一投影图像的第二坐标系的位置变换关系，以及该顶点在目标拍摄图像中的第一目标位置，确定该顶点在第二坐标系中的第一初始位置。
41.其中，该目标拍摄图像可以为至少两个拍摄图像中包括该顶点的拍摄图像。
42.步骤303、根据投影屏幕的四个顶点在第二坐标系中的第一初始位置，以及第一投影图像的四个顶点在第二坐标系中的参考位置，校正第二投影图像的显示效果。
43.激光投影设备在确定投影屏幕的每个顶点在第二坐标系中的第一初始位置后，可以根据投影屏幕的四个顶点在该第二坐标系中的第一初始位置，以及第一投影图像的四个顶点在第二坐标系中的参考位置，校正第二投影图像的显示效果。
44.其中，该第二投影图像的显示效果可以包括第二投影图像在投影屏幕的投影位置，和/或，第二投影图像在投影屏幕的投影形状。
45.综上所述，本公开实施例提供了一种投影图像校正方法，该校正方法中激光投影设备可以根据确定的投影屏幕的四个顶点在第二坐标系中的第一初始位置和第一投影图像的四个顶点在第二坐标系中的参考位置，对第二投影图像的显示效果进行校正。由此能够确保将第二投影图像投射至投影屏幕内，且第二投影图像的边缘与投影屏幕的投影区域
的边缘对齐，从而确保第二投影图像的显示效果较好。
46.并且，由于摄像头的镜头无需采用超短焦超广角的镜头，因此降低了成本。并且摄像头采集的拍摄图像不会呈桶形畸变，进而激光投影设备无需对该拍摄图像进行畸变校正，由此降低了算法的复杂度。对于投影屏幕的每个顶点，激光投影设备可以根据该顶点在目标拍摄图像的第一坐标系与顶点在第一投影图像的第二坐标系的位置变换关系，确定该顶点的在第二坐标系中的第一初始位置。由此提高了对该顶点的第一初始位置确定的准确性，进而提高了对第二投影图像的显示效果校正的准确性。
47.图4是本公开实施例提供的另一种投影图像的校正方法的流程图，该方法可以应用于图1或图2所示的激光投影设备。如图4所示，该方法可以包括：
48.步骤401、响应于校正指令，检测摄像头的图像采集范围与投影屏幕的重叠区域的面积是否小于面积阈值。
49.激光投影设备可以响应于校正指令，检测摄像头的图像采集范围与投影屏幕的重叠区域的面积是否小于面积阈值。若检测到摄像头的图像采集范围与投影屏幕的重叠区域的面积小于面积阈值，则激光投影设备可以确定摄像头采集的拍摄图像无法用于图像校正，因此激光投影设备可以执行步骤402。可选的，若摄像头位于出光口远离投影屏幕的一侧，则在该种情况下，摄像头的镜头可能位于出光口远离投影屏幕的一侧，此时摄像头无法拍摄到第一投影图像的任一区域。
50.若检测到摄像头的图像采集范围与投影屏幕的重叠区域的面积大于或等于面积阈值，则激光投影设备可以确定摄像头采集的拍摄图像能够用于图像校正，因此激光投影设备可以执行步骤403。
51.可选的，若摄像头位于出光口远离投影屏幕的一侧，则在该种情况下，摄像头的镜头位于出光口靠近投影屏幕的一侧，即此时摄像头的镜头面向投影屏幕，且能够拍摄到第一投影图像的任一个区域。
52.在本公开实施例中，激光投影设备可以响应于校正指令，分别确定摄像头在第一平面上的拍摄角度和在第二平面上的拍摄角度。若在第一平面上的拍摄角度未处于第一角度范围，和/或，在第二平面上的拍摄角度未处于第二角度范围，则激光投影设备可以确定摄像头的图像采集范围与投影屏幕的重叠区域的面积小于面积阈值。若在第一平面上的拍摄角度处于第一角度范围，且第二平面上的拍摄角度处于第二角度范围，则激光投影设备可以确定摄像头的图像采集范围与投影屏幕的重叠区域的面积大于或等于面积阈值。
53.其中，第一平面平行于主机的承载面，第二平面垂直于第一平面且垂直于投影屏幕。该第一平面可以由目标坐标系定义，该目标坐标系的原点为摄像头上的任一点，目标坐标的第一轴为第一平面和第二平面相交的直线，目标坐标的第二轴与第一轴垂直。
54.摄像头在第一平面上的拍摄角度为摄像头的光轴与目标坐标系的第一轴的正方向之间的夹角，该第一轴的正方向相对于第一轴的负方向靠近投影屏幕。
55.摄像头在第二平面上的拍摄角度为摄像头的光轴与第一平面的夹角。并且，若摄像头的光轴位于第一平面远离主机的一侧，则摄像头在第二平面上的拍摄角度大于0。若摄像头的光轴位于第一平面靠近主机的一侧，则摄像头在第二平面上的拍摄角度小于0。
56.其中，摄像头在第一平面上的拍摄角度处于第一角度范围，且第二平面上的拍摄角度处于第二角度范围时，该摄像头的图像采集范围与投影屏幕的重叠区域的面积大于或
等于面积阈值。摄像头在第一平面上的拍摄角度未处于第一角度范围，和/或，在第二平面上的拍摄角度未处于第二角度范围时，该摄像头的图像采集范围与投影屏幕的重叠区域的面积小于面积阈值。该第一角度范围和第二角度范围可以为激光投影设备中预先存储的固定数值。示例的，第一角度范围可以为(-90度，90度)，第二角度范围可以为(-45度，45度)。
57.可以理解的是，激光投影设备每次在控制摄像头在第一平面和第二平面上转动后，可以记录转动后的摄像头在第一平面的拍摄角度和在第二平面的拍摄角度。
58.在本公开实施例中，该校正指令可以是针对校正按钮(或开机按钮)的点击操作生成的。激光投影设备和用于控制激光投影设备的遥控器上均可以设置有该校正按钮(或开机按钮)。或者，该激光投影设备可以周期性生成校正指令，并可以响应于该校正指令，将第一投影图像投射至投影屏幕。也即是，该激光投影设备可以周期性执行校正流程。
59.若校正指令是针对开机按钮的点击操作生成的，则该校正指令可以是针对该激光投影设备的开机指令，进而激光投影设备可以在开机的过程中进行图像校正，由此不影响用户正常观看视频图像。
60.步骤402、控制摄像头转动，以使重叠区域的面积大于或等于面积阈值。
61.激光投影设备若检测到摄像头的图像采集范围与投影屏幕的重叠区域的面积小于面积阈值，则可以控制摄像头转动，以使重叠区域的面积大于或等于面积阈值，由此确保摄像头采集的拍摄图像能够用于图像校正。
62.在本公开实施例中，激光投影设备在确定重叠区域的面积小于面积阈值后，还可以确定摄像头当前所处的状态。若摄像头处于初始状态，则激光投影设备可以控制摄像头上升至主机的外部，之后再控制摄像头转动，直至摄像头在第一平面上的拍摄角度处于第一角度范围，且在第二平面上的拍摄角度处于第二角度范围，由此使得重叠区域的面积大于或等于面积阈值。其中，该初始状态指的是摄像头位于主机的内部。
63.若摄像头的状态不是初始状态，则激光投影设备可以直接控制摄像头转动，直至摄像头在第一平面上的拍摄角度处于第一角度范围，且在第二平面上的拍摄角度处于第二角度范围，由此使得重叠区域的面积大于或等于面积阈值。
64.步骤403、将第一投影图像投射至投影屏幕，并依次控制摄像头转动至不同的拍摄角度。
65.在本公开实施例中，激光投影设备在确定摄像头的图像采集范围与投影屏幕的重叠区域的面积大于或等于面积阈值后，还可以将第一投影图像投射至投影屏幕，并依次控制摄像头转动至不同的拍摄角度。其中，激光投影设备在控制摄像头转动至每个拍摄角度后，可以控制摄像头对该第一投影图像进行拍摄，得到一个拍摄图像。由此可以得到云端摄像头对第一投影图像的不同区域拍摄的至少两个拍摄图像。
66.其中，该不同的拍摄角度可以包括：在第一平面上的不同的拍摄角度，以及在第二平面上的不同的拍摄角度。
67.例如，激光投影设备可以先控制摄像头在第一平面和第二平面中的一个平面内旋转，以使云端摄像头处于不同的拍摄角度。然后，可以控制摄像头在第一平面和第二平面中的另一个平面内旋转，以使云端摄像头处于不同的拍摄角度。
68.在本公开实施例中，该第一投影图像为用于确定校正数据的图像，即该第一投影图像也可以称为校正图像。该第一投影图像覆盖投影屏幕的四个顶点。
69.在本公开实施例中，该第一投影图像可以包括阵列排布的m
×
n个特征图形，该m为第一投影图像中特征图形的行数，n为第一投影图像中特征图形的列数。其中，该m和n均为正整数，且该m小于或等于m，该n小于或等于n。该第一投影图像的背景色与特征图形的颜色不同，该特征图形可以为矩形块或者十字形等。其中，该m为第一投影图像中像素的行数，n为第一投影图像中像素的列数。示例的，m可以为2160，n可以为3840。
70.参考图5，该m可以为4，该n可以为4，该第一投影图像002可以包括4
×
4共16个特征图形，该第一投影图像的背景色为白色，该16个特征图形均为黑色的矩形块。可以理解的是，实际应用中该第一投影图像002不包括图5所示的黑色边框，图5中第一投影图像002的黑色边框是为了有效展示第一投影图像002而显示。
71.在本公开实施例中，投影屏幕001和第一投影图像002均可以为多边形，例如均可以为矩形，该投影屏幕001和第一投影图像002均可以包括左上顶点、右上顶点、左下顶点和右下顶点共四个顶点。且该第一投影图像和投影屏幕的分辨率相同。需要说明的是，该投影屏幕可以包括用于显示投影图像(该投影图像可以包括第一投影图像)的投影区域和围绕该投影区域的边框，该投影屏幕的分辨率指的是该投影区域的分辨率。
72.可以理解的是，若用户不小心移动了激光投影设备，则激光投影设备投射至投影屏幕的第一投影图像会覆盖投影屏幕的四个顶点，且显示的第一投影图像可能会发生形变。例如，参考图6，该第一投影图像002覆盖投影屏幕001的四个顶点，且显示的第一投影图像002形变为梯形。
73.激光投影设备中可以预先存储有多个拍摄角度与投影图像的多个区域的对应关系。其中，该投影图像的不同区域包括的投影屏幕的顶点不同。可以理解的是，激光投影设备在获取到一个拍摄角度后，则可以确定基于该拍摄角度对第一投影图像进行拍摄得到拍摄图像中包括的顶点相对于其他顶点的位置。
74.例如，若至少两个拍摄图像的个数为四个，激光投影设备获取到的拍摄角度与第一投影图像的左上区域对应，则激光投影设备在控制云端摄像头在该拍摄角度对第一投影图像进行拍摄得到拍摄图像后，即可以确定该拍摄图像包括投影屏幕的左上顶点，进而激光投影设备可以基于该拍摄图像中的目标特征图形确定出投影屏幕的左上顶点的位置变换关系。
75.可选的，该每个拍摄图像可以包括投影屏幕的至少一个顶点，且至少两个拍摄图像包括投影屏幕的四个顶点。若至少两个拍摄图像的个数可以为两个，该每个拍摄图像可以包括投影屏幕的两个顶点，且两个拍摄图像包括的投影屏幕的顶点不同。
76.示例的，该至少两个拍摄图像中的一个拍摄图像可以包括投影屏幕的左上顶点和左下顶点，以及第一投影图像左半区域的多个特征图形。该至少两个拍摄图像中的另一个拍摄图像可以包括投影屏幕的右上顶点和右下顶点，以及第一投影图像右半区域的多个特征图形。
77.若至少两个拍摄图像的个数可以为四个，该每个拍摄图像可以包括投影屏幕的一个顶点，且不同的拍摄图像包括的投影屏幕的顶点不同。可选的，激光投影设备可以控制摄像头依次转动至四个不同的拍摄角度，并在控制摄像头转动至每个拍摄角度后，控制摄像头对该第一投影图像的一个区域进行拍摄，得到一个拍摄图像。由此实现分别对第一投影图像的左上区域、右上区域、右下区域以及左下区域进行拍摄，从而得到第一拍摄图像、第
二拍摄图像、第三拍摄图像和第四拍摄图像。
78.其中，第一拍摄图像包括投影屏幕的左上顶点，以及第一投影图像的左上区域的多个特征图形。第二拍摄图像包括投影屏幕的右上顶点，以及第一投影图像的右上区域的多个特征图形。第三拍摄图像包括投影屏幕的右下顶点，以及第一投影图像的右下区域的多个特征图形。第四拍摄图像包括投影屏幕的左下顶点，以及第一投影图像的左下区域的多个特征图形。
79.参考图7，该第一拍摄图像中可以包括投影屏幕001的左上顶点r，以及阵列排布的3
×
2共6个特征图形。
80.在本公开实施例中，该摄像头拍摄一帧图像的曝光时间是第一投影图像的刷新周期的倍数，由此可以确保云端摄像头采集的拍摄图像的清晰度。其中，该刷新周期可以为第一投影图像的刷新频率的倒数。
81.步骤404、对于投影屏幕的每个顶点，根据目标拍摄图像中多个目标特征图形在第一坐标系中的第二目标位置，以及多个目标特征图形在第二坐标系中的第二初始位置，确定位置变换关系。
82.激光投影设备在获取到至少两个拍摄图像之后，对于投影屏幕的每个顶点，根据目标拍摄图像中多个目标特征图形在第一坐标系中的第二目标位置，以及多个目标特征图形在第二坐标系中的第二初始位置，确定位置变换关系。
83.其中，该目标拍摄图像可以为至少两个拍摄图像中包括该顶点的拍摄图像。每个拍摄图像中均可以包括多个目标特征图形。该多个目标特征图形可以为该拍摄图像中的多个特征图形中相对于其他特征图形靠近顶点的特征图形，该其他特征图形为该拍摄图像中的多个特征图形除目标特征图形之外的特征图形。可选的，该每个拍摄图像均可以包括四个阵列排布的目标特征图形。
84.示例的，若至少两个拍摄图像的个数为四个，对于投影屏幕的左上顶点，该目标拍摄图像可以为图7所示的包括该左上顶点的第一拍摄图像，该四个目标特征图形可以为第一拍摄图像中的特征图形t1至特征图形t4。对于投影屏幕的右上顶点，该目标拍摄图像为包括该右上顶点的第二拍摄图像。对于投影屏幕的右下顶点，该目标拍摄图像为包括该右上顶点的第三拍摄图像。对于投影屏幕的左下顶点，该目标拍摄图像为包括该右上顶点的第四拍摄图像。
85.参考图7，该第一坐标系x1y1的原点可以为目标拍摄图像的参考点，该参考点o1可以为目标拍摄图像的左上顶点。该第一坐标系的横轴x1平行于目标拍摄图像的像素行方向，第一坐标系x1y1的纵轴y1平行于目标拍摄图像的像素列方向。
86.该第二坐标系x2y2的原点可以为第一投影图像中的参考点，例如，参考图8，该第一投影图像002中的参考点o2可以为第一投影图像002中的左上顶点。该第二坐标系x2y2的横轴x2平行于第一投影图像002的像素行方向，第二坐标系x2y2的纵轴y2平行于第一投影图像002的像素列方向。
87.对于投影屏幕的每个顶点，激光投影设备可以根据该顶点所在的目标拍摄图像中四个目标特征图形在第一坐标系中的第二目标位置和该四个目标特征图形在第二坐标系中的第二初始位置，确定该顶点在第一坐标系与第二坐标系的位置变换关系。由此可以得到投影屏幕的四个顶点在第一坐标系与第二坐标系的位置变换关系。
88.在本公开实施例中，该目标拍摄图像中四个目标特征图形中第二目标位置为(x，y)的目标特征图形在第一坐标系中的第二初始位置(a，b)可以满足：
[0089][0090]
其中，该k为位置变换关系，该位置变换关系可以为3
×
3的透视变化矩阵，该位置变换关系k可以满足：该透视变换矩阵k包括k0至k7个透视变换系数，该w为线性参数。
[0091]
在本公开实施例中，基于上述四个目标特征图形中的第二初始位置所满足的公式，可以确定四个目标特征图形的第二目标位置、第二初始位置以及透视变换矩阵满足：
[0092][0093]
基于此，激光投影设备可以确定以下方程(1)至方程(8)共8个方程，并可以通过求解该8个方程确定透视变换矩阵所包括的k0至k7个透视变换系数。
[0094]
方程(1)：a1＝k0
×
x1+k1
×
y1+k2-k6
×
x1
×
a1-k7
×
y1
×
a1；
[0095]
方程(2)：b1＝k3
×
x1+k4
×
y1+k5-k6
×
x1
×
b1-k7
×
y1
×
b1；
[0096]
方程(3)：a2＝k0
×
x2+k1
×
y2+k2-k6
×
x2
×
a2-k7
×
y2
×
a2；
[0097]
方程(4)：b2＝k3
×
x2+k4
×
y2+k5-k6
×
x2
×
b2-k7
×
y2
×
b2；
[0098]
方程(5)：a3＝k0
×
x3+k1
×
y3+k2-k6
×
x3
×
a3-k7
×
y3
×
a3；
[0099]
方程(6)：b3＝k3
×
x3+k4
×
y3+k5-k6
×
x3
×
b3-k7
×
y3
×
b3；
[0100]
方程(7)：a4＝k0
×
x4+k1
×
y4+k2-k6
×
x4
×
a4-k7
×
y4
×
a4；
[0101]
方程(8)：b4＝k3
×
x4+k4
×
y4+k5-k6
×
x4
×
b4-k7
×
y4
×
b4。
[0102]
其中，该每个目标特征图形的位置由两个坐标确定，该四个目标特征图形中的第一个目标特征图形的第二初始位置为(a1，b1)，第二目标位置为(x1，y1)。该四个目标特征图形中的第二个目标特征图形的第二初始位置为(a2，b2)，第二目标位置为(x2，y2)。该四个目标特征图形中的第三个目标特征图形的第二初始位置为(a3，b3)，第二目标位置为(x3，y3)。该四个目标特征图形中的第四个目标特征图形的第二初始位置为(a4，b4)，第二目标位置为(x4，y4)。
[0103]
在本公开实施例中，激光投影设备在获取到每个拍摄图像后，可以对该拍摄图像进行灰度处理，得到灰度图像。之后，激光投影设备可以根据该灰度图像中每个像素的灰度
值，确定该拍摄图像中目标特征图形在第一坐标系中的第二目标位置。
[0104]
其中，该灰度图像中每个像素的灰度值范围可以为[0，255]。其中，像素的灰度值为0的像素在该灰度图像中呈现出来是黑色，像素的灰度值为255的像素在该灰度图像中呈现出来是白色。
[0105]
在本公开实施例中，该投影屏幕的边框可以包括内边框和外边框，该投影屏幕的顶点可以为外边框的顶点。该投影屏幕的边框可以为黑色。
[0106]
由于第一投影图像的背景色为白色，投影屏幕的边框和特征图形均为黑色，因此对于每个拍摄图像，激光投影设备可以采用角点检测算法识别出该拍摄图像中投影屏幕的多个边缘线，进而激光投影设备可以将任意两个边缘线相交的像素点确定为投影屏幕的顶点。其中，该多个边缘线组成投影屏幕的边框的一部分。示例的，该角点检测算法可以包括harris角点检测算法、klt角点检测算法及susan角点检测算法等算法。
[0107]
并且，激光投影设备可以采用角点检测算法确定出每个特征图形的边缘线。并将任意两个边缘线相交的像素点确定为特征图形的顶点像素，该顶点像素为位于该特征图形的顶点处的像素。对于每个特征图形，激光投影设备可以将特征图形的任一顶点像素在拍摄图像中的位置确定为该特征图形的第二目标位置。参考图9，该任一顶点像素可以为特征图形的左上顶点q。或者可以将特征图形的所有顶点像素在拍摄图像中的位置的均值确定为该特征图形的第二目标位置。
[0108]
步骤405、对于投影屏幕的每个顶点，根据顶点在目标拍摄图像的第一坐标系与顶点在第一投影图像的第二坐标系的位置变换关系，以及顶点在目标拍摄图像中的第一目标位置，确定顶点在第二坐标系中的第一初始位置。
[0109]
激光投影设备在确定投影屏幕中四个顶点的位置变换关系之后，对于投影屏幕的每个顶点，激光投影设备可以根据该顶点在目标拍摄图像的第一坐标系与该顶点在第一投影图像的第二坐标系的位置变换关系，以及该顶点在目标拍摄图像中的第一目标位置，确定该顶点在第二坐标系中的第一初始位置。由此激光投影设备可以确定出投影屏幕的四个顶点在第一坐标系中的第一初始位置。
[0110]
其中，对于投影屏幕的每个顶点，若该顶点的第一目标位置为(x，y)，则该顶点的第一初始位置(a，b)可以满足：
[0111]
其中，该透视变换系数k0至k7为该顶点在第一坐标系和第二坐标系的位置变化关系所包括的系数。
[0112]
步骤406、根据投影屏幕的四个顶点在第二坐标系中的第一初始位置，以及第一投影图像的四个顶点在第二坐标系中的参考位置，校正第二投影图像的显示效果。
[0113]
在本公开实施例中，激光投影设备在确定投影屏幕的四个顶点在第二坐标系中的第一初始位置后，可以根据该投影屏幕的四个顶点在该第二坐标系中的第一初始位置和该第一投影图像的四个顶点在第二坐标系中的参考位置，对第二投影图像的显示效果进行校正。
[0114]
其中，该第二投影图像为用于显示视频内容的图像，且该第二投影图像和第一投影图像的分辨率相同。该第二投影图像可以包括阵列排布的多个像素区域。激光投影设备可以根据投影屏幕的四个顶点在第二坐标系中的第一初始位置和第一投影图像的四个顶
点在第二坐标系中的参考位置确定出第二投影图像的校正数据，并基于该第二投影图像的校正数据对第二投影图像的显示效果进行校正。其中，该第二投影图像的显示效果可以包括第二投影图像在投影屏幕上的投影位置，和/或，第二投影图像在投影屏幕上的投影形状。
[0115]
可选的，该第二投影图像的校正数据可以包括与多个像素区域对应的偏移参数，例如，若第二投影图像可以包括32
×
62共1984个像素区域，则该校正数据可以包括1984个偏移参数。该第二投影图像可以被划分为m1
×
n1个网格，每个网格可以包括多个像素，即每个网格为一个像素区域。该每个像素区域可以包括个像素，其中，该m1为小于m的正整数，n1为小于n的正整数。
[0116]
对于四个顶点中的每个顶点，激光投影设备可以根据投影屏幕的该顶点在第二坐标系中的第一初始位置和第一投影图像的该顶点在第二坐标系中的参考位置，确定该顶点的第一偏移参数。并可以基于该顶点的第一偏移参数确定第二投影图像中每个像素区域的第二偏移参数，由此对于每个像素区域，可以得到四个第二偏移参数。之后，对于每个像素区域，激光投影设备可以基于该四个第二偏移参数可以确定出该像素区域的第三偏移参数，由此得到校正数据。进而激光投影设备可以基于该每个像素区域的第三偏移参数对第二投影图像中该像素区域的投影位置进行校正，由此实现对该第二投影图像的显示效果的校正。
[0117]
在本公开实施例中，参考图2和图10，激光投影设备还可以包括光源组件30和光调制组件40。该光源组件30用于出射激光光束，并将该激光光束传输至光调制组件40。该光源组件30可以包括激光光源和光传输镜片。该激光光源用于出射激光光束，该光传输镜片用于将该激光光源出射的激光光束传输至光调制组件40。该激光光源可以为三色激光光源，也可以为单色激光光源，或者也可以为双色激光光源，本公开实施例对此不做限定。该光调制组件40用于接收到的激光光束调制成影像光束，并传输至投影镜头50。可选的，该光调制组件40可以为数字微镜器件(digital micro-mirror device，dmd)、液晶显示器(liquid crystal display，lcd)或硅基液晶(liquid crystal on silicon，lcos)器件。
[0118]
以光调制组件40为光阀为例，该光阀中集成有阵列排布的多个镜片，每个镜片对应投影图像(该投影图像包括第一投影图像和第二投影图像)中的一个像素。该光阀中各个镜片的偏转角度不同，从而可以将不同的像素的光线投影至不同位置。在调整第二投影图像的显示效果时，激光投影设备可以根据每个像素区域的第三偏移参数调整该像素区域与镜片的对应关系(即调整用于反射该像素区域中像素的光线的镜片)来调整该像素区域有效投影区域，进而实现调整第二投影图像的显示效果。该像素区域的有效投影区域为该激光投影设备投影显示的第二投影图像中该像素区域的显示区域。
[0119]
例如，参考图8，若第二投影图像的一个像素区域的第三偏移参数包括第一偏移方向s1和像素偏移量d，则激光投影设备在基于该第二偏移参数将该一个像素区域中的像素沿第一偏移方向s1平移d列像素时，对于该像素区域中的第一列像素，可以将其对应的镜片调整为第d+1列像素对应的镜片；对于第二列像素，可以将其对应的镜片调整为第d+2列像素对应的镜片。以此类推，对于第d列像素，可以将其对应的镜片调整为第d+d列像素对应的镜片。其中，d为小于d的正整数。
[0120]
以下对激光投影设备可以根据投影屏幕的四个顶点在第二坐标系中的第一初始位置和第一投影图像的四个顶点在第二坐标系中的参考位置，确定四个顶点的第一偏移参数的过程进行说明：
[0121]
对于四个顶点中的每个顶点，激光投影设备确定出的该顶点的第一偏移参数可以包括位置偏移量和偏移方向。参考图8，该位置偏移量的偏移方向可以包括平行于像素行方向的第一偏移方向s1和第二偏移方向s2，以及平行于像素列方向的第三偏移方向s3和第四偏移方向s4。该第一偏移方向s1和第三偏移方向s3均为远离第二坐标系x2y2的原点o2的方向，第二偏移方向s2和第四偏移方向s4均为靠近第二坐标系x2y2的原点o2的方向。该第一偏移方向s1和第二偏移方向s2相反，该第三偏移方向s3和第四偏移方向s4相反。
[0122]
对于该四个顶点中的第一目标顶点，该第一目标顶点在第一偏移方向s1上的位置偏移量可以为投影屏幕的第一目标顶点在第二坐标系x2y2中的第一初始位置的横坐标a，与第一投影图像的第一目标顶点在第二坐标系x2y2的参考位置的横坐标u1的差值的绝对值。其中，该第一目标顶点可以为左上顶点或者左下顶点。
[0123]
对于该四个顶点中的第二目标顶点，该第二目标顶点在第三偏移方向s3上的位置偏移量可以为投影屏幕的第二目标顶点在第二坐标系x2y2中的第一初始位置的纵坐标b，与第一投影图像的第二目标顶点在第二坐标系x2y2的参考位置的纵坐标v1的差值的绝对值。其中，该第二目标顶点可以为左上顶点或者右上顶点。
[0124]
对于该四个顶点中的第三目标顶点，第三目标顶点在第二偏移方向s2上的位置偏移量可以为投影屏幕的第三目标顶点在第二坐标系x2y2中的第一初始位置的横坐标a，与第一投影图像的第三目标顶点在第二坐标系x2y2中的参考位置的横坐标u2的差值的绝对值。其中，该第三目标顶点可以为右上顶点或者右下顶点。
[0125]
对于该四个顶点中的第四目标顶点，该第四目标顶点在第四偏移方向s4上的位置偏移量可以为投影屏幕的第四目标顶点在第二坐标系x2y2中的第一初始位置的纵坐标b，与第一投影图像的第四目标顶点在第二坐标系x2y2中的参考位置的纵坐标v3的差值的绝对值。其中，该第四目标顶点可以为左下顶点或者右下顶点。
[0126]
下文对激光投影设备基于四个顶点中每个顶点的第一偏移参数确定第二投影图像中每个像素区域的第二偏移参数的过程进行说明：
[0127]
第一投影图像中的一个顶点与该第二投影图像中的一个像素区域对应。第二投影图像中与该一个顶点对应的目标像素区域，在第二投影图像中相对于该目标像素区域的初始位置的像素偏移量等于该位置偏移量。也即是，该目标像素区域的第二偏移参数包括的像素偏移量等于该位置偏移量。该像素区域在第二投影图像中的初始位置为该像素区域在第二坐标系x2y2中的初始位置。
[0128]
位于该f
×
g个像素区域中的第y1行第x1列的像素区域，在第二坐标系x2y2的初始位置的纵坐标为横坐标为该y1为大于或等于0，且小于f的整数，该x1大于或等于0，且小于g的整数。
[0129]
示例的，若m为2160，n为3840，f为32，g为62，x为0，y为0，则位于该f
×
g个像素区域中的第0行第0列的像素区域，在第二坐标系x2y2的初始位置的纵坐标为0，横坐标为0。若y为0，x为61，则位于该f
×
g个像素区域中的第0行第61列的像素区域，在第二坐标系x2y2的
初始位置的纵坐标为0，横坐标为
[0130]
对于四个顶点中的每个顶点，激光投影设备可以根据该顶点的位置偏移量确定出第二投影图像中除该顶点对应的目标像素区域之外的每个像素区域在第二投影图像中相对于该像素区域的初始位置的像素偏移量，由此得到第二投影图像中每个像素区域的像素偏移量。该每个像素区域的偏移方向与该顶点的偏移方向相同，由此得到每个像素区域的第二偏移参数。
[0131]
其中，除目标像素区域之外的每个像素区域的像素偏移量均小于该位置偏移量，且像素偏移量与间隔距离负相关，该间隔距离为该像素区域与目标像素区域之间的距离。由此确保多个像素区域的像素偏移量沿偏移方向逐渐减小，使得第二投影图像中相邻的像素区域能够平滑过渡，确保了图像的显示效果。
[0132]
参考图8，该第二偏移参数包括的偏移方向均可以包括平行于像素行方向的第一偏移方向s1和第二偏移方向s2，以及平行于像素列方向的第三偏移方向s3和第四偏移方向s4。在本公开实施例中，若四个顶点包括左上顶点，则确定出的每个像素区域的偏移方向可以包括第一偏移方向s1和第三偏移方向s3。若四个顶点包括右上顶点，则确定出的每个像素区域的偏移方向可以包括第二偏移方向s2和第三偏移方向s3。若四个顶点包括左下顶点，则确定出的每个像素区域的偏移方向可以包括第一偏移方向s1和第四偏移方向s4。若四个顶点包括右下顶点，则确定出的每个像素区域的偏移方向可以包括第二偏移方向s2和第四偏移方向s4。
[0133]
以下对激光投影设备基于每个像素区域的四个第二偏移参数确定该像素区域的第三偏移参数的过程进行说明：
[0134]
每个像素区域的第三偏移参数可以包括该像素区域的像素偏移量和偏移方向。对于每个像素区域，对于四个顶点中的左上顶点和左下顶点，激光投影设备可以基于左上顶点确定出该像素区域在第一偏移方向s1上的像素偏移量为e1，并基于左下顶点确定出该像素区域在第一偏移方向s1上的像素偏移量为e2，则激光投影设备可以确定该像素区域在第一偏移方向s1上的像素偏移量为e1+e2。
[0135]
对于四个顶点中的右上顶点和右下顶点，激光投影设备可以基于右上顶点确定出该像素区域在第二偏移方向s2上的像素偏移量为f1，并基于右下顶点确定出该像素区域在第二偏移方向s2上的像素偏移量为f2，则激光投影设备可以确定该像素区域在第二偏移方向s2上的像素偏移量为f1+f2。
[0136]
对于四个顶点中的左上顶点和右上顶点，激光投影设备可以基于左上顶点确定出该像素区域在第三偏移方向s3上的像素偏移量为g1，基于右上顶点确定出该像素区域在第三偏移方向s3上的像素偏移量为g2，则激光投影设备可以确定该像素区域在第三偏移方向s3上的像素偏移量为g1+g2。
[0137]
对于四个顶点中的左下顶点和右下顶点，激光投影设备可以基于左下顶点确定出该像素区域在第四偏移方向s4上的像素偏移量为h1，基于右下顶点确定出该像素区域在第四偏移方向s4上的像素偏移量为h2，则激光投影设备可以确定该像素区域在第四偏移方向s4上的像素偏移量为h1+h2。
[0138]
由于第一偏移方向s1与第二偏移方向s2相反，因此若(e1+e2)大于(f1+f2)，则激
光投影设备可以确定该像素区域的第三偏移参数所包括的像素偏移量为(e1+e2)与(f1+f2)的差值，即(e1+e2)-(f1+f2)，第三偏移参数所包括的偏移方向为第一偏移方向s1。若(e1+e2)小于(f1+f2)，则激光投影设备可以确定该像素区域的第三偏移参数所包括的像素偏移量为(f1+f2)与(e1+e2)的差值，即(f1+f2)-(e1+e2)，第三偏移参数所包括的偏移方向为第二偏移方向s2。若(e1+e2)等于(f1+f2)，则激光投影设备可以确定无需在第一偏移方向s1与第二偏移方向s2上对该像素区域的投影位置进行校正。
[0139]
由于第三偏移方向s3与第四偏移方向s4相反，因此若(g1+g2)大于(h1+h2)，则激光投影设备可以确定该像素区域的第三偏移参数所包括的像素偏移量为(g1+g2)与(h1+h2)的差值，即(g1+g2)-(h1+h2)，第三偏移参数所包括的偏移方向为第三偏移方向s3。若(g1+g2)小于(h1+h2)，则激光投影设备可以确定该像素区域的第三偏移参数所包括的像素偏移量为(h1+h2)与(g1+g2)的差值，即(h1+h2)-(g1+g2)，第三偏移参数所包括的偏移方向为第四偏移方向s4。若(g1+g2)等于(h1+h2)，则激光投影设备可以确定无需在第三偏移方向s3与第四偏移方向s4上对该像素区域的投影位置进行校正。
[0140]
参考图11和图12，在激光投影设备发生位移之后，第二投影图像003覆盖投影屏幕001，且第二投影图像003会发生梯形形变。参考图13，在激光投影设备的投影镜头发生较大畸变后，第二投影图像003覆盖投影屏幕001，且第二投影图像003的边缘会存在形变。
[0141]
采用本公开实施例提供的方法，即便在激光投影设备的投影镜头发生较大畸变或者该激光投影设备发生位移的情况下，激光投影设备能够确保将第二投影图像投射至投影屏幕内，第二投影图像的边缘与投影屏幕的投影区域的边缘对齐，且第二投影图像也不会发生形变，由此确保了投影图像的显示效果。
[0142]
需要说明的是，本公开实施例提供的投影图像的校正方法步骤的先后顺序可以进行适当调整，步骤也可以根据情况进行删除。例如，步骤402可以根据情况进行删除。任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化的方法，都应涵盖在本公开的保护范围之内，因此不再赘述。
[0143]
综上所述，本公开实施例提供了一种投影图像校正方法，该校正方法中激光投影设备可以根据确定的投影屏幕的四个顶点在第二坐标系中的第一初始位置和第一投影图像的四个顶点在第二坐标系中的参考位置，对第二投影图像的显示效果进行校正。由此能够确保将第二投影图像投射至投影屏幕内，且第二投影图像的边缘与投影屏幕的投影区域的边缘对齐，从而确保第二投影图像的显示效果较好。
[0144]
并且，由于摄像头的镜头无需采用超短焦超广角的镜头，因此降低了成本。对于投影屏幕的每个顶点，激光投影设备可以根据该顶点在目标拍摄图像的第一坐标系与顶点在第一投影图像的第二坐标系的位置变换关系，确定该顶点的在第二坐标系中的第一初始位置，由此提高了对该顶点的第一初始位置确定的准确性，进而提高了对第二投影图像的显示效果校正的准确性。
[0145]
由于整个图像校正过程无需用户操作，实现了自动校正，减少了用户操作，提升用户体验。
[0146]
参考图10，该激光投影设备10还可以包括系统级芯片60和显示控制芯片70。该系统级芯片60分别与摄像头20和显示控制芯片70连接，其中，该系统级芯片60与摄像头20可以采用有线方式连接，也可采用无线方式连接。
[0147]
在本公开实施例中，系统级芯片60可以控制摄像头20可以不同方转动。在社交场景中，摄像头20的镜头面向用户，还可以用于对用户进行拍摄等。在图像校正场景中，系统级芯片60需控制摄像头20转向屏幕，对投影屏幕001显示的第一投影图像进行拍摄，并利用拍摄的拍摄图像进行自动几何校正。在不使用摄像头20时，系统级芯片60还可以控制摄像头20下降至主机10的内部。
[0148]
系统级芯片60用于执行上述步骤301、步骤302、步骤401至步骤405，以及步骤303和步骤406中确定校正数据的过程，该系统级芯片在确定校正数据后，将该校正数据发送至显示控制芯片70。该显示控制芯片70用于基于该校正数据校正第二投影图像的显示效果。
[0149]
本公开实施例提供了一种激光投影设备，参考图1、图2和图10，系统级芯片60，用于：
[0150]
响应于校正指令，将第一投影图像投射至投影屏幕，并获取摄像头对第一投影图像的不同区域拍摄得到的至少两个拍摄图像，其中，第一投影图像覆盖投影屏幕的四个顶点，每个拍摄图像包括投影屏幕的至少一个顶点，且至少两个拍摄图像包括投影屏幕的四个顶点。
[0151]
对于投影屏幕的每个顶点，根据顶点在目标拍摄图像的第一坐标系与顶点在第一投影图像的第二坐标系的位置变换关系，以及顶点在目标拍摄图像中的第一目标位置，确定顶点在第二坐标系中的第一初始位置，目标拍摄图像为至少两个拍摄图像中包括顶点的拍摄图像。
[0152]
根据投影屏幕的四个顶点在第二坐标系中的第一初始位置，以及第一投影图像的四个顶点在第二坐标系中的参考位置，校正第二投影图像的显示效果。
[0153]
综上所述，本公开实施例提供了一种激光投影设备，激光投影设备可以根据确定的投影屏幕的四个顶点在第二坐标系中的第一初始位置和第一投影图像的四个顶点在第二坐标系中的参考位置，对第二投影图像的显示效果进行校正。由此能够确保将第二投影图像投射至投影屏幕内，且第二投影图像的边缘与投影屏幕的投影区域的边缘对齐，从而确保第二投影图像的显示效果较好。
[0154]
可选的，每个拍摄图像中均包括多个目标特征图形；系统级芯片，还用于：
[0155]
在得到至少两个拍摄图像之后，对于投影屏幕的每个顶点，根据目标拍摄图像中多个目标特征图形在第一坐标系中的第二目标位置，以及多个目标特征图形在第二坐标系中的第二初始位置，确定位置变换关系。
[0156]
可选的，每个拍摄图像中均包括多个特征图形，多个目标特征图形为多个特征图形中相对于其他特征图形靠近顶点的特征图形。
[0157]
可选的，每个拍摄图像均包括四个阵列排布的目标特征图形。
[0158]
可选的，系统级芯片，用于：
[0159]
响应于校正指令，依次控制摄像头转动至不同的拍摄角度。
[0160]
其中，在控制摄像头转动至每个拍摄角度后，控制摄像头对第一投影图像进行拍摄，得到一个拍摄图像。
[0161]
可选的，系统级芯片，还用于：
[0162]
在依次控制摄像头转动至不同的拍摄角度之前，若摄像头的图像采集范围与投影屏幕的重叠区域的面积小于面积阈值，则控制摄像头转动，以使重叠区域的面积大于或等
于面积阈值。
[0163]
可选的，摄像头拍摄一帧图像的曝光时间是第一投影图像的刷新周期的倍数。
[0164]
综上所述，本公开实施例提供了一种激光投影设备，激光投影设备可以根据确定的投影屏幕的四个顶点在第二坐标系中的第一初始位置和第一投影图像的四个顶点在第二坐标系中的参考位置，对第二投影图像的显示效果进行校正。由此能够确保将第二投影图像投射至投影屏幕内，且第二投影图像的边缘与投影屏幕的投影区域的边缘对齐，从而确保第二投影图像的显示效果较好。
[0165]
本公开实施例提供了一种激光投影设备，包括：存储器，处理器及存储在存储器上的计算机程序，处理器执行计算机程序时实现如图3或图4所示的方法。
[0166]
本公开实施例提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当指令被处理器执行时实现如图3或图4所示的方法。
[0167]
本公开实施例提供了一种包含指令的计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行图3或图4所示的方法。
[0168]
在本公开实施例中，术语“第一”、“第二”、“第三”和“第四”仅用于描述目的，而不能理解为指示或暗示相对重要性。本公开实施例中术语“多个”的含义是指两个或两个以上。本公开实施例中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。
[0169]
以上所述仅为本公开的可选实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。