基于投影图像的触控定位控制方法
【专利摘要】本发明提供了一种基于投影图像的触控定位控制方法，通过计算机运行触控操作应用程序，在投影仪投影的计算机显示画面投影影像区域内指定控制点位置，计算机根据画面坐标-投影世界坐标转换模型和投影世界坐标-视频坐标转换模型进行触控定位控制的转换，确定触控操作画面中执行触控操作的位置，进而控制触控操作应用程序执行相应的触控操作任务，就好像在投影仪输出的投影影像区域中实现了触控操作一样，从而达到了在投影画面中直接对触控操作应用程序进行控制操作的效果，并且确保了计算机执行的触控定位控制处理的高效性和准确性，解决了现有技术中人机交互受到电子设备屏幕大小限制的问题，为在投影平面上控制触控操作应用程序提供了技术保证。
【专利说明】基于投影图像的触控定位控制方法
【技术领域】
[0001]本发明属于图像识别技术和计算机控制【技术领域】，尤其涉及一种基于投影图像的触控定位控制方法。
【背景技术】
[0002]目前大多数便携式电子设备(例如手机、平板电脑等)都采用液晶显示器([⑶)作为人机界面的主要输出设备，并且越来越多的便携式电子设备具备了全屏触控功能，能够通过触控实现人机交互。但由于受到便携式电子设备自身体积的限制，显示屏幕都做得比较小，这不便于用户在屏幕界面上进行人机交互。
[0003]随着投影机行业的不断发展及产品的不断换代，越来越多的投影系统都具有交互功能，即通过一些在投影幕上的操作来完成原先需要在电子设备的屏幕界面上控制执行的功能，这样就解决人机交互受到电子设备屏幕大小限制的问题。近年来出现了一些关于交互式投影系统技术的相关研究。例如我国专利⑶102063618八以及⑶101881921八公开的交互式投影系统中，采用投影装置显示图像，并采用摄像机对投影图像进行摄像，然后通过投影平面上的手势动作在交互式投影系统中定义若干手势，每种手势与指令相对应，存储在指令数据库中，从而利用可以手势实现比如确认、取消、翻页等操作。但该系统最大的缺陷是手势定义的指令数量有限；一方面，指令数的增加必然会加大用户的学习难度，很难被普通用户接受；另外一方面，即使指令数量增加到一定程度，也很难实现虚拟键盘输入操作、手势控制目标位置等更为复杂的功能。
[0004]全屏触控电子设备的普及，也带动了触控操作应用程序的发展。在交互式触控投影系统中，如果能够与触控操作应用程序相结合，在投影平面上对触控操作应用程序进行控制操作，那将意味着可以通过在投影平面上的操作实现确认、取消、翻页以及虚拟键盘输入操作、手势控制目标位置等几乎所有的控制功能，解决人机交互受到电子设备屏幕大小限制的问题。然而，目前还缺乏通过在投影平面上的操作对触控操作应用程序进行控制的成熟技术。
【发明内容】
[0005]针对现有技术中存在的上述问题，为了解决现有技术中人机交互受到电子设备屏幕大小限制的问题，本发明提供了一种基于投影图像的触控定位控制方法，其结合触控操作应用程序，使得能够通过在投影画面中指定控制点位置而直接实现对触控操作应用程序的控制，从而为在投影平面上控制触控操作应用程序提供技术保证。
[0006]为实现上述目的，本发明采用了如下技术手段:
[0007]基于投影图像的触控定位控制方法，采用交互式触控投影系统进行控制；所述交互式触控投影系统包括计算机、投影仪和摄像装置；其中，投影仪连接计算机的显示输出端，用于对计算机的显示画面进行投影；摄像装置连接计算机的数据输入端，用于采集包含有计算机显示画面投影影像区域的视频图像，并将采集的视频图像实时传输给计算机；计算机用于运行触控操作应用程序并显示输出触控操作画面，根据视频图像中指定的控制点位置，对触控操作画面中执行触控操作的位置进行控制；该方法具体包括如下步骤:
[0008]I)通过测量投影仪投影的计算机显示画面投影影像区域的实际尺寸，确定计算机显示画面投影影像区域的世界坐标区域，在计算机中建立计算机显示输出的显示画面坐标域与投影仪投影的计算机显示画面投影影像世界坐标区域之间的坐标对应转换关系，作为显示画面坐标-投影世界坐标转换模型记录在计算机中；
[0009]2)控制计算机显示由若干黑色、白色矩形块交错相邻拼接形成的棋盘格图案，由投影仪对计算机的显示画面进行投影；
[0010]3)将投影仪投影的棋盘格图案作为棋盘格标定模板，利用摄像装置从多个不同拍摄角度抓取棋盘格标定模板的图像，采用基于OpenCV的摄像机标定方法对摄像装置进行标定，得到摄像装置的内部参数和畸变系数，并保存在计算机中；
[0011]4)保持计算机的显示状态和投影仪的投影状态不变，将投影仪投影的棋盘格图案作为棋盘格标定模板，设定摄像装置的拍摄位置，抓取棋盘格标定模板的图像，由计算机利用保存的畸变系数对抓取的棋盘格标定模板的图像进行畸变校正；
[0012]5)利用畸变校 正后的棋盘格标定模板的图像以及计算机保存的内部参数，再次采用基于OpenCV的摄像机标定方法对摄像装置进行标定，得到摄像装置在设定的拍摄位置状态下的旋转矩阵和平移矩阵；
[0013]6)计算机根据保存的内部参数以及设定的拍摄位置状态下的旋转矩阵和平移矩阵，得到设定的拍摄位置状态下投影仪投影的计算机显示画面投影影像的世界坐标区域与畸变校正后的视频图像的像素坐标域之间的坐标对应转换关系，作为投影世界坐标-视频像素坐标转换模型记录在计算机中；
[0014]7)计算机运行触控操作应用程序并显示输出触控操作画面，由投影仪对计算机的显示画面进行投影，由摄像装置在设定的拍摄位置实时采集包含有计算机显示画面投影影像区域的视频图像并传输给计算机，由计算机利用保存的畸变系数对视频图像进行畸变校正；
[0015]8)在投影仪投影的计算机显示画面投影影像区域内指定控制点位置；
[0016]9)计算机根据投影世界坐标-视频像素坐标转换模型，计算出畸变校正后的视频图像中在计算机显示画面投影影像区域内指定的控制点位置的像素坐标所对应的投影影像世界坐标，再根据显示画面坐标-投影世界坐标转换模型，计算出该投影影像世界坐标对应的显示画面坐标，并按照该显示画面坐标确定计算机显示输出的触控操作画面中执行触控操作的位置，控制触控操作应用程序执行相应的触控操作任务。
[0017]上述基于投影图像的触控定位控制方法中，具体而言，所述投影世界坐标-视频像素坐标转换模型为:
【权利要求】
1.基于投影图像的触控定位控制方法，其特征在于，采用交互式触控投影系统进行控制；所述交互式触控投影系统包括计算机、投影仪和摄像装置；其中，投影仪连接计算机的显示输出端，用于对计算机的显示画面进行投影；摄像装置连接计算机的数据输入端，用于采集包含有计算机显示画面投影影像区域的视频图像，并将采集的视频图像实时传输给计算机；计算机用于运行触控操作应用程序并显示输出触控操作画面，根据视频图像中指定的控制点位置，对触控操作画面中执行触控操作的位置进行控制；该方法具体包括如下步骤: 1)通过测量投影仪投影的计算机显示画面投影影像区域的实际尺寸，确定计算机显示画面投影影像区域的世界坐标区域，在计算机中建立计算机显示输出的显示画面坐标域与投影仪投影的计算机显示画面投影影像世界坐标区域之间的坐标对应转换关系，作为显示画面坐标-投影世界坐标转换模型记录在计算机中； 2)控制计算机显示由若干黑色、白色矩形块交错相邻拼接形成的棋盘格图案，由投影仪对计算机的显示画面进行投影； 3)将投影仪投影的棋盘格图案作为棋盘格标定模板，利用摄像装置从多个不同拍摄角度抓取棋盘格标定模板的图像，采用基于OpenCV的摄像机标定方法对摄像装置进行标定，得到摄像装置的内部参数和畸变系数，并保存在计算机中； 4)保持计算机的显示状态和投影仪的投影状态不变，将投影仪投影的棋盘格图案作为棋盘格标定模板，设定摄像装置的拍摄位置，抓取棋盘格标定模板的图像，由计算机利用保存的畸变系数对抓取的棋盘格标定模板的图像进行畸变校正； 5)利用畸变校正后的棋盘格标定模板的图像以及计算机保存的内部参数，再次采用基于OpenCV的摄像机标定方法对摄像装置进行标定，得到摄像装置在设定的拍摄位置状态下的旋转矩阵和平移矩阵； 6)计算机根据保存的内部参数以及设定的拍摄位置状态下的旋转矩阵和平移矩阵，得到设定的拍摄位置状态下投影仪投影的计算机显示画面投影影像的世界坐标区域与畸变校正后的视频图像的像素坐标域之间的坐标对应转换关系，作为投影世界坐标-视频像素坐标转换模型记录在计算机中； 7)计算机运行触控操作应用程序并显示输出触控操作画面，由投影仪对计算机的显示画面进行投影，由摄像装置在设定的拍摄位置实时采集包含有计算机显示画面投影影像区域的视频图像并传输给计算机，由计算机利用保存的畸变系数对视频图像进行畸变校正； 8)在投影仪投影的计算机显示画面投影影像区域内指定控制点位置； 9)计算机根据投影世界坐标-视频像素坐标转换模型，计算出畸变校正后的视频图像中在计算机显示画面投影影像区域内指定的控制点位置的像素坐标所对应的投影影像世界坐标，再根据显示画面坐标-投影世界坐标转换模型，计算出该投影影像世界坐标对应的显示画面坐标，并按照该显示画面坐标确定计算机显示输出的触控操作画面中执行触控操作的位置，控制触控操作应用程序执行相应的触控操作任务。
2.根据权利要求1所述基于投影图像的触控定位控制方法，其特征在于，所述投影世界坐标-视频像素坐标转换模型为:
【文档编号】G06F3/042GK103838437SQ201410097620
【公开日】2014年6月4日 申请日期:2014年3月14日 优先权日:2014年3月14日
【发明者】张毅, 杨正益, 谭勇, 张红杰, 柏景文 申请人:重庆大学