一种非接触式屏幕交互方法及系统的制作方法
【专利摘要】本发明实施例涉及计算机应用【技术领域】，公开了一种非接触式屏幕交互方法及系统。其中，该系统包括计算机、投影仪、用于捕获投影在屏幕上的图像信息的摄像机和用于产生激光束投射在所述屏幕上的两个激光指示器，该系统还包括：激光点定位模块，用于将两个激光指示器投射在所述屏幕上的两个激光点的摄像机图像坐标映射到计算机屏幕坐标；操控对象识别模块，用于识别两个激光指示器所指向的操控对象；操控动作识别模块，用于识别两个激光指示器的操控动作；交互驱动模块，用于将所述操控动作转换为计算机可识别的针对所述操控对象的操控指令并传输给计算机，由计算机执行所述操控指令。通过本发明实施例，可使得使非接触式屏幕交互操作更自然和更人性化。
【专利说明】一种非接触式屏幕交互方法及系统
【技术领域】
[0001]本发明涉及计算机应用【技术领域】，具体涉及一种非接触式屏幕交互方法及系统。
【背景技术】
[0002]交互式大屏幕是近年来比较流行的演示交互系统，用户可通过一定的手段对到大屏幕显示的内容进行操控，例如，翻页浏览、移动、缩放等。准确的捕捉、理解用户操控动作的意图是实现交互的关键，同时，操控动作自然和人性化，符合用户习惯，满足用户交互体验需求，也是目前大屏幕交互研究中的一个热点。
[0003]现有技术方案之一是，用户手持单支激光笔在大屏幕上画出一定的图案，摄像机实时捕捉、识别激光笔的轨迹，并与预定的图案进行匹配，匹配成功后，将其映射到计算机识别的指令、如鼠标、键盘动作等，从而实现与计算机的交互。但是，使用单个激光笔进行交互时，用户需要记住一些特别的图案，容易误动作，而且交互动作不够自然和人性化，交互能力不足。
【发明内容】
[0004]本发明实施例公开了一种非接触式屏幕交互方法及系统，能够更加自然和人性化地实现非接触式屏幕交互。
[0005]本发明实施例的第一方面提供一种非接触式屏幕交互系统，所述系统包括用于将图像信息送至投影仪的计算机、用于将所述图像信息显示在屏幕上的投影仪、用于捕获投影在屏幕上的图像信息的摄像机和用于产生激光束投射在所述屏幕上的激光发射装置，所述激光发射装置包括两个激光指示器，所述系统还包括执行器，所述执行器包括:
[0006]激光点定位模块，用于从所述摄像机捕获到的图像信息中实时检测所述两个激光指示器投射在所述屏幕上的两个激光点的位置信息和时间信息，并将所述两个激光点在所述图像信息中的摄像机图像坐标映射到计算机屏幕坐标；
[0007]操控对象识别模块，用于根据所述两个激光点的计算机屏幕坐标及停留时间信息，识别所述两个激光指示器所指向的操控对象；
[0008]操控动作识别模块，用于根据所述两个激光点的相对运动趋势或分别根据所述两个激光点的绝对运动趋势识别所述两个激光指示器的操控动作；
[0009]交互驱动模块，用于将所述操控动作转换为计算机可识别的针对所述操控对象的操控指令并传输给计算机，由计算机执行所述操控指令。
[0010]在本发明实施例第一方面的第一种可能的实现方式中，所述激光点定位模块包括:
[0011]标定单元，用于确定摄像机图像坐标系和计算机屏幕坐标系的映射关系；
[0012]定位单元，用于从所述摄像机捕获到的图像信息中实时检测所述两个激光指示器投射在所述屏幕上的两个激光点的位置信息和时间信息，并根据所述映射关系，将所述两个激光点在所述图像信息中的摄像机图像坐标映射到计算机屏幕坐标。
[0013]在本发明实施例第一方面的第二种可能的实现方式中，所述操控对象识别模块具体用于:
[0014]当所述两个激光点中的至少一个的计算机屏幕坐标在预设时间内保持不变时，则确定发生选择对象事件；
[0015]当所述两个激光点中的一个发生选择对象事件时，若该激光点的计算机屏幕坐标在某个对象的显示区域内，则确定该对象为操控对象；
[0016]当所述两个激光点均发生选择对象事件时，若两个事件出现的时间差小于阈值，则确定发生两个选择对象事件，若所述两个激光点的计算机屏幕坐标落在同一个对象的显示区域内，则确定该对象为操控对象，如果所述两个激光点的计算机屏幕坐标落在两个不同对象的显示区域内，则确定所述两个不同对象为两个操控对象；
[0017]当所述两个激光点均发生选择对象事件时，如果两个事件出现的时间差大于阈值，则确定后发生的选择对象事件无效，若先发生选择对象事件的激光点的计算机屏幕坐标在某个对象的显示区域内，则确定该对象为操控对象。
[0018]结合本发明实施例第一方面或本发明实施例第一方面的第一至第二种中的任一种可能的实现方式，在本发明实施例第一方面的第三种可能的实现方式中，所述操控动作识别模块具体用于:
[0019]将所述两个激光指示器中的一个投射在所述屏幕上的激光点作为向量的起点，将所述两个激光指示器中的另一个投射在所述屏幕上的激光点作为所述向量的终点，根据所述向量的模及方向角的变化趋势，以识别所述两个激光指示器的操控动作；或者，
[0020]分别根据所述两个激光指示器投射在所述屏幕上的激光点的运动轨迹，以识别所述两个激光指示器的操控动作。
[0021]结合本发明实施例第一方面或本发明实施例第一方面的第一至第二种中的任一种可能的实现方式，在本发明实施例第一方面的第四种可能的实现方式中，所述操控动作识别模块具体用于:
[0022]将所述两个激光指示器中的一个投射在所述屏幕上的激光点作为向量的起点，将所述两个激光指示器中的另一个投射在所述屏幕上的激光点作为所述向量的终点，当所述向量的模不断变小时，则所述两个激光指示器的操控动作的语义为图片缩小，当所述向量的模不断变大时，则所述两个激光指示器的操控动作的语义为图片放大，当所述向量的方向角发生变化时，则所述两个激光指示器的操控动作的语义为图片进行相应的旋转；或者，
[0023]分别根据所述两个激光指示器投射在所述屏幕上的激光点的运动轨迹，以识别所述两个激光指示器的操控动作。
[0024]本发明实施例第二方面提供一种非接触式屏幕交互方法，所述方法包括:计算机将图像信息送至投影仪、投影仪将所述图像信息显示在屏幕上、摄像机捕获投影在屏幕上的图像信息和激光发射装置产生激光束投射在所述屏幕上，所述激光发射装置包括两个激光指示器，所述方法还包括:
[0025]执行器的激光点定位模块从所述摄像机捕获到的图像信息中实时检测所述两个激光指示器投射在所述屏幕上的两个激光点的位置信息和时间信息，并将所述两个激光点在所述图像信息中的摄像机图像坐标映射到计算机屏幕坐标；
[0026]执行器的操控对象识别模块根据所述两个激光点的计算机屏幕坐标及停留时间信息，识别所述两个激光指示器所指向的操控对象；
[0027]执行器的操控动作识别模块根据所述两个激光点的相对运动趋势或分别根据所述两个激光点的绝对运动趋势识别所述两个激光指示器的操控动作；
[0028]执行器的交互驱动模块将所述操控动作转换为计算机可识别的针对所述操控对象的操控指令并传输给计算机，由计算机执行所述操控指令。
[0029]在本发明实施例第二方面的第一种可能的实现方式中，所述执行器的激光点定位模块从所述摄像机捕获到的图像信息中实时检测所述两个激光指示器投射在所述屏幕上的两个激光点的位置信息和时间信息，并将所述两个激光点在所述图像信息中的摄像机图像坐标映射到计算机屏幕坐标包括:
[0030]执行器的激光点定位模块确定摄像机图像坐标系和计算机屏幕坐标系的映射关系;
[0031]从所述摄像机捕获到的图像信息中实时检测所述两个激光指示器投射在所述屏幕上的两个激光点的位置信息和时间信息，并根据所述映射关系，将所述两个激光点在所述图像信息中的摄像机图像坐标映射到计算机屏幕坐标。
[0032]在本发明实施例第二方面的第二种可能的实现方式中，所述执行器的操控对象识别模块根据所述两个激光点的计算机屏幕坐标及停留时间信息，识别所述两个激光指示器所指向的操控对象包括:
[0033]执行器的操控对象识别模块在所述两个激光点中的至少一个的计算机屏幕坐标在预设时间内保持不变时，则确定发生选择对象事件；
[0034]在所述两个激光点中的一个发生选择对象事件时，若该激光点的计算机屏幕坐标在某个对象的显示区域内，则确定该对象为操控对象；
[0035]在所述两个激光点均发生选择对象事件时，若两个事件出现的时间差小于阈值，则确定发生两个选择对象事件，若所述两个激光点的计算机屏幕坐标落在同一个对象的显示区域内，则确定该对象为操控对象，若所述两个激光点的计算机屏幕坐标落在两个不同对象的显示区域内，则确定所述两个不同对象为两个操控对象；
[0036]在所述两个激光点均发生选择对象事件时，若两个事件出现的时间差大于阈值，则确定后发生的选择对象事件无效，若先发生选择对象事件的激光点的计算机屏幕坐标在某个对象的显示区域内，则确定该对象为操控对象。
[0037]结合本发明实施例第二方面或本发明实施例第二方面的第一至第二种中的任一种可能的实现方式，在本发明实施例第二方面的第三种可能的实现方式中，所述执行器的操控动作识别模块根据所述两个激光点的相对运动趋势或分别根据所述两个激光点的绝对运动趋势识别所述两个激光指示器的操控动作包括:
[0038]执行器的操控动作识别模块将所述两个激光指示器中的一个投射在所述屏幕上的激光点作为向量的起点，将所述两个激光指示器中的另一个投射在所述屏幕上的激光点作为所述向量的终点，根据所述向量的模及方向角的变化趋势，以识别所述两个激光指示器的操控动作；或者，
[0039]分别根据所述两个激光指示器投射在所述屏幕上的激光点的运动轨迹，以识别所述两个激光指示器的操控动作。
[0040]结合本发明实施例第二方面或本发明实施例第二方面的第一至第二种中的任一种可能的实现方式，在本发明实施例第二方面的第四种可能的实现方式中，所述执行器的操控动作识别模块根据所述两个激光点的相对运动趋势或分别根据所述两个激光点的绝对运动趋势识别所述两个激光指示器的操控动作包括:
[0041]执行器的操控动作识别模块将所述两个激光指示器中的一个投射在所述屏幕上的激光点作为向量的起点，将所述两个激光指示器中的另一个投射在所述屏幕上的激光点作为所述向量的终点，当所述向量的模不断变小时，则所述两个激光指示器的操控动作的语义为图片缩小，当所述向量的模不断变大时，则所述两个激光指示器的操控动作的语义为图片放大，当所述向量的方向角发生变化时，则所述两个激光指示器的操控动作的语义为图片进行相应的旋转；或者，
[0042]分别根据所述两个激光指示器投射在所述屏幕上的激光点的运动轨迹，以识别所述两个激光指示器的操控动作。
[0043]本发明实施例中，在计算机将图像信息送至投影仪、投影仪将所述图像信息显示在屏幕上、摄像机捕获投影在屏幕上的图像信息和两个激光指示器产生激光束投射在所述屏幕上后，可通过激光点定位模块从所述摄像机捕获到的图像信息中实时检测所述两个激光指示器投射在所述屏幕上的两个激光点的位置信息和时间信息，并将所述两个激光点在所述图像信息中的摄像机图像坐标映射到计算机屏幕坐标，然后通过操控对象识别模块根据所述两个激光点的计算机屏幕坐标及停留时间信息，识别所述两个激光指示器所指向的操控对象，并通过操控动作识别模块根据所述两个激光点的相对运动趋势或分别根据所述两个激光点的绝对运动趋势识别所述两个激光指示器的操控动作，最后可由交互驱动模块基于所述操控对象，将所述操控动作的语义转换为计算机可识别并执行的操控指令。通过本发明实施例，用户可利用两个激光指示器通过自然的手势在投影屏幕上进行交互操作，从而可解决了单激光指示器交互能力不足的问题，符合用户操作习惯，使交互操作更自然和更人性化。
【专利附图】
【附图说明】
[0044]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0045]图1是本发明实施例提供的一种非接触式屏幕交互系统的结构示意图；
[0046]图2是本发明实施例提供的另一种非接触式屏幕交互系统的结构示意图；
[0047]图3是本发明实施例提供的另一种非接触式屏幕交互系统的结构示意图；
[0048]图4是本发明实施例提供的一种非接触式屏幕交互方法的流程图；
[0049]图5是本发明实施例提供的另一种非接触式屏幕交互方法的流程图。
【具体实施方式】
[0050]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0051]本发明实施例公开了一种非接触式屏幕交互方法及系统，能够更加自然和人性化地实现非接触式屏幕交互。以下分别进行详细说明。
[0052]请参阅图1，图1示出了本发明实施例提供的一种非接触式屏幕交互系统的结构示意图。如图1所示，该非接触式屏幕交互系统可以包括用于将图像信息送至投影仪的计算机10、用于将所述图像信息显示在屏幕20上的投影仪30、用于捕获投影在屏幕20上的图像信息的摄像机40和用于产生激光束投射在屏幕20上的激光发射装置50。其中，激光发射装置50可以包括两个激光指示器，具体地，激光指示器可以为激光笔或可穿戴在手指上的穿戴式激光指示器，本发明实施例不作限定；激光发射装置50所发射的激光波长可以为650nm,而摄像机40的镜头上可增加一片截止波长为650nm的高通滤光片，以有效降低环境光的影响。如图1所示，该非接触式屏幕交互系统还可以进一步包括执行器60，该执行器60可以包括激光点定位模块601、操控对象识别模块602、操控动作识别模块603和交互驱动模块604，其中:
[0053]激光点定位模块601，用于从摄像机40捕获到的图像信息中实时检测两个激光指示器投射在屏幕20上的两个激光点的位置信息和时间信息，并将两个激光点在图像信息中的摄像机图像坐标映射到计算机屏幕坐标。
[0054]操控对象识别模块602，用于根据所述两个激光点的计算机屏幕坐标及停留时间信息，识别所述两个激光指示器所指向的操控对象。
[0055]具体地，识别操控对象的具体方法如下:
[0056]当两个激光指示器投射在屏幕20上的两个激光点中的至少一个的计算机屏幕坐标在预设时间内(例如，2秒)保持不变时，则确定发生选择对象事件；
[0057]当两个激光点中的一个发生选择对象事件时，若该激光点的计算机屏幕坐标在某个对象的显示区域内，则确定该对象为操控对象；
[0058]当两个激光点均发生选择对象事件时，若两个事件出现的时间差小于阈值，则确定发生两个选择对象事件，若两个激光点的计算机屏幕坐标落在同一个对象的显示区域内，则确定该对象为操控对象，如果两个激光点的计算机屏幕坐标落在两个不同对象的显示区域内，则确定两个不同对象为两个操控对象；
[0059]当两个激光点均发生选择对象事件时，如果两个事件出现的时间差大于阈值，则确定后发生的选择对象事件无效，若先发生选择对象事件的激光点的计算机屏幕坐标在某个对象的显示区域内，则确定该对象为操控对象。
[0060]操控动作识别模块603，用于根据两个激光指示器投射在屏幕20上的两个激光点的相对运动趋势或分别根据两个激光点的绝对运动趋势识别两个激光指示器的操控动作。
[0061]具体的识别操控动作的方法如下:
[0062]在已确定操控对象的基础上，将两个激光指示器中的一个投射在屏幕20上的激光点作为向量的起点，将两个激光指示器中的另一个投射在屏幕20上的激光点作为该向量的终点，根据该向量的模及方向角的变化趋势，以识别两个激光指示器的操控动作。例如，当所确定的向量的模不断变小时，则两个激光指示器的操控动作的语义为图像缩小，当所确定的向量的模不断变大时，则两个激光指示器的操控动作的语义为图像放大，当所确定的向量的方向角发生变化时，则两个激光指示器的操控动作的语义为图像进行相应的旋转，即所确定的向量逆时钟旋转时，所操控的图片跟着逆时钟旋转，所述确定的向量顺时钟旋转时，所操控的图片也跟着进行顺时钟旋转。当然，还可分别根据两个激光指示器投射在屏幕20上的激光点的运动轨迹，以识别两个激光指示器的操控动作，例如，移动图片位置，翻页等操作。
[0063]交互驱动模块604，用于将操控动作转换为计算机可识别的针对所述操控对象的操控指令并传输给计算机10，由计算机10执行操控指令。
[0064]需要说明的是，本实施方式中的执行器60中激光点定位模块601、操控对象识别模块602、操控动作识别模块603和交互驱动模块604可以位于计算机10当中，当然在其它实施方式中，这些模块还可位于与计算机10和摄像机40通信连接的上位机中，例如嵌入式设备中。此外，还可以通过多个激光指示器，例如多个可穿戴于手指上的穿戴式激光指示器来实现非接触式屏幕交互，具体的实施方式可以为，通过多个激光指示器投射在屏幕20上的多个激光点的位置信息和停留时间信息来确定操控对象，然后通过这多个激光点的相对运动趋势或分别通过这多个激光点的绝对运动趋势来识别多个激光指示器的操控动作。这样的多个激光指示器实现的非接触式屏幕交互系可广泛应用到，例如，游戏领域。此外，屏幕20除了可以为投影式大屏幕外，还可以是液晶大屏幕或者其他形式的屏幕，当屏幕20为大的液晶显示器时，可省去投影仪30，即计算机10直接将图像信息输出到屏幕20，而图1当中的其它装置的设置不变。
[0065]其中，图1提供的非接触式屏幕交互系统可以利用两个激光指示器通过自然的手势在屏幕上进行交互操作，从而可解决了单激光指示器交互能力不足的问题，符合用户操作习惯，使交互操作更自然和更人性化。
[0066]请参阅图2，图2示出了本发明实施例提供的另一种非接触式屏幕交互系统的结构示意图。其中，图2所示的非接触式屏幕交互系统是由图1所示的非接触式屏幕交互系统进行优化得到的。在图2所示的非接触式屏幕交互系统中，激光点定位模块601进一步包括标定单元6011和定位单元6012，其中:
[0067]标定单元6011，用于确定摄像机图像坐标系和计算机屏幕坐标系的映射关系。其中，确定摄像机图像坐标系和计算机屏幕坐标系的映射关系的方法已为本领域普通技术人员所熟知，故在此只做简单地介绍，方法如下:
[0068]摄像机40从多个方位拍摄标定棋盘格，采用经典的张正友标定法获得摄像机的内参数，其中包括畸变参数；计算机10全屏投影棋盘格图像到屏幕20上，截取全屏获得图像，采用经典harris角点检测算法获得计算机屏幕的棋盘角点坐标(X’，Y’)；摄像机40捕捉投影大屏幕，获取图像，根据摄像机40的畸变参数对图像进行畸变矫正，并采用经典harris角点检测算法获取摄像机图像的棋盘角点坐标U’，y’)；利用获取的计算机屏幕的棋盘角点坐标(X’，Y’ )和摄像机图像的棋盘角点坐标(X’，I，)，以计算单应性矩阵H，即:
【权利要求】
1.一种非接触式屏幕交互系统，其特征在于，包括用于将图像信息送至投影仪的计算机、用于将所述图像信息显示在屏幕上的投影仪、用于捕获投影在所述屏幕上的图像信息的摄像机和用于产生激光束投射在所述屏幕上的激光发射装置，所述激光发射装置包括两个激光指示器，所述系统还包括执行器，所述执行器包括: 激光点定位模块，用于从所述摄像机捕获到的图像信息中实时检测所述两个激光指示器投射在所述屏幕上的两个激光点的位置信息和时间信息，并将所述两个激光点在所述图像信息中的摄像机图像坐标映射到计算机屏幕坐标； 操控对象识别模块，用于根据所述两个激光点的计算机屏幕坐标及停留时间信息，识别所述两个激光指示器所指向的操控对象； 操控动作识别模块，用于根据所述两个激光点的相对运动趋势或分别根据所述两个激光点的绝对运动趋势识别所述两个激光指示器的操控动作； 交互驱动模块，用于将所述操控动作转换为计算机可识别的针对所述操控对象的操控指令并传输给计算机，由计算机执行所述操控指令。
2.根据权利要求1所述的非接触式屏幕交互系统，其特征在于，所述激光点定位模块包括: 标定单兀，用于确定摄像机图像坐标系和计算机屏.坐标系的映射关系； 定位单元，用于从所述摄像机捕获到的图像信息中实时检测所述两个激光指示器投射在所述屏幕上的两个激光点的位置信息和时间信息，并根据所述映射关系，将所述两个激光点在所述图像信息中的摄像机图像坐标映射到计算机屏幕坐标。
3.根据权利要求1所述的非接触式屏幕交互系统，其特征在于，所述操控对象识别模块具体用于: 当所述两个激光点中的至少一个的计算机屏幕坐标在预设时间内保持不变时，则确定发生选择对象事件； 当所述两个激光点中的一个发生选择对象事件时，若该激光点的计算机屏幕坐标在某个对象的显示区域内，则确定该对象为操控对象； 当所述两个激光点均发生选择对象事件时，若两个事件出现的时间差小于阈值，则确定发生两个选择对象事件，若所述两个激光点的计算机屏幕坐标落在同一个对象的显示区域内，则确定该对象为操控对象，如果所述两个激光点的计算机屏幕坐标落在两个不同对象的显示区域内，则确定所述两个不同对象为两个操控对象； 当所述两个激光点均发生选择对象事件时，如果两个事件出现的时间差大于阈值，则确定后发生的选择对象事件无效，若先发生选择对象事件的激光点的计算机屏幕坐标在某个对象的显示区域内，则确定该对象为操控对象。
4.根据权利要求1?3任一项所述的非接触式屏幕交互系统，其特征在于，所述操控动作识别模块具体用于: 将所述两个激光指示器中的一个投射在所述屏幕上的激光点作为向量的起点，将所述两个激光指示器中的另一个投射在所述屏幕上的激光点作为所述向量的终点，根据所述向量的模及方向角的变化趋势，以识别所述两个激光指示器的操控动作；或者， 分别根据所述两个激光指示器投射在所述屏幕上的激光点的运动轨迹，以识别所述两个激光指示器的操控动作。
5.根据权利要求1?3任一项所述的非接触式屏幕交互系统，其特征在于，所述操控动作识别模块具体用于: 将所述两个激光指示器中的一个投射在所述屏幕上的激光点作为向量的起点，将所述两个激光指示器中的另一个投射在所述屏幕上的激光点作为所述向量的终点，当所述向量的模不断变小时，则所述两个激光指示器的操控动作的语义为图片缩小，当所述向量的模不断变大时，则所述两个激光指示器的操控动作的语义为图片放大，当所述向量的方向角发生变化时，则所述两个激光指示器的操控动作的语义为图片进行相应的旋转；或者，分别根据所述两个激光指示器投射在所述屏幕上的激光点的运动轨迹，以识别所述两个激光指示器的操控动作。
6.一种非接触式屏幕交互方法，其特征在于，所述方法包括:计算机将图像信息送至投影仪、投影仪将所述图像信息显示在屏幕上、摄像机捕获投影在所述屏幕上的图像信息和激光发射装置产生激光束投射在所述屏幕上，所述激光发射装置包括两个激光指示器，所述方法还包括: 执行器的激光点定位模块从所述摄像机捕获到的图像信息中实时检测所述两个激光指示器投射在所述屏幕上的两个激光点的位置信息和时间信息，并将所述两个激光点在所述图像信息中的摄像机图像坐标映射到计算机屏幕坐标； 执行器的操控对象识别模块根据所述两个激光点的计算机屏幕坐标及停留时间信息，识别所述两个激光指示器所指向的操控对象； 执行器的操控动作识别模块根据所述两个激光点的相对运动趋势或分别根据所述两个激光点的绝对运动趋势识别所述两个激光指示器的操控动作； 执行器的交互驱动模块将所述操控动作转换为计算机可识别的针对所述操控对象的操控指令并传输给计算机，由计算机执行所述操控指令。
7.根据权利要求6所述的非接触式屏幕交互方法，其特征在于，所述执行器的激光点定位模块从所述摄像机捕获到的图像信息中实时检测所述两个激光指示器投射在所述屏幕上的两个激光点的位置信息和时间信息，并将所述两个激光点在所述图像信息中的摄像机图像坐标映射到计算机屏幕坐标包括: 执行器的激光点定位模块确定摄像机图像坐标系和计算机屏幕坐标系的映射关系；从所述摄像机捕获到的图像信息中实时检测所述两个激光指示器投射在所述屏幕上的两个激光点的位置信息和时间信息，并根据所述映射关系，将所述两个激光点在所述图像信息中的摄像机图像坐标映射到计算机屏幕坐标。
8.根据权利要求6所述的非接触式屏幕交互方法，所述执行器的操控对象识别模块根据所述两个激光点的计算机屏幕坐标及停留时间信息，识别所述两个激光指示器所指向的操控对象包括: 执行器的操控对象识别模块在所述两个激光点中的至少一个的计算机屏幕坐标在预设时间内保持不变时，则确定发生选择对象事件； 在所述两个激光点中的一个发生选择对象事件时，若该激光点的计算机屏幕坐标在某个对象的显示区域内，则确定该对象为操控对象； 在所述两个激光点均发生选择对象事件时，若两个事件出现的时间差小于阈值，则确定发生两个选择对象事件，若所述两个激光点的计算机屏幕坐标落在同一个对象的显示区域内，则确定该对象为操控对象，若所述两个激光点的计算机屏幕坐标落在两个不同对象的显示区域内，则确定所述两个不同对象为两个操控对象； 在所述两个激光点均发生选择对象事件时，若两个事件出现的时间差大于阈值，则确定后发生的选择对象事件无效，若先发生选择对象事件的激光点的计算机屏幕坐标在某个对象的显示区域内，则确定该对象为操控对象。
9.根据权利要求6?8任一项所述的非接触式屏幕交互方法，所述执行器的操控动作识别模块根据所述两个激光点的相对运动趋势或分别根据所述两个激光点的绝对运动趋势识别所述两个激光指示器的操控动作包括: 执行器的操控动作识别模块将所述两个激光指示器中的一个投射在所述屏幕上的激光点作为向量的起点，将所述两个激光指示器中的另一个投射在所述屏幕上的激光点作为所述向量的终点，根据所述向量的模及方向角的变化趋势，以识别所述两个激光指示器的操控动作；或者， 分别根据所述两个激光指示器投射在所述屏幕上的激光点的运动轨迹，以识别所述两个激光指示器的操控动作。
10.根据权利要求6?8任一项所述的非接触式屏幕交互方法，所述执行器的操控动作识别模块根据所述两个激光点的相对运动趋势或分别根据所述两个激光点的绝对运动趋势识别所述两个激光指示器的操控动作包括: 执行器的操控动作识别模块将所述两个激光指示器中的一个投射在所述屏幕上的激光点作为向量的起点，将所述两个激光指示器中的另一个投射在所述屏幕上的激光点作为所述向量的终点，当所述向量的模不断变小时，则所述两个激光指示器的操控动作的语义为图片缩小，当所述向量的模不断变大时，则所述两个激光指示器的操控动作的语义为图片放大，当所述向量的方向角发生变化时，则所述两个激光指示器的操控动作的语义为图片进行相应的旋转；或者， 分别根据所述两个激光指示器投射在所述屏幕上的激光点的运动轨迹，以识别所述两个激光指示器的操控动作。
【文档编号】G06F3/0487GK104166509SQ201310186372
【公开日】2014年11月26日 申请日期:2013年5月20日 优先权日:2013年5月20日
【发明者】刘兆祥, 胡伟, 廉士国 申请人:华为技术有限公司