专利名称：激光点/区域检测方法和装置的制作方法
技术领域：
本发明涉及图像处理，更具体地涉及激光点/区域检测方法和装置。
背景技术：
目前有一些与计算机进行远距离交互的系统和方法，它们的目的是为了使用户更有效地进行如基于计算机和投影仪的演示等活动。这些系统和方法采用了多种技术如超声波、红外等实现远距离交互的解决方案。在演讲或会议环境下，激光笔被广泛应用于指向投影区域的特定部分。由于激光笔的流行性和低成本，一些远距离计算机交互系统和方法采用激光笔和摄像头实现，它们通过以下方法为用户提供远距离激光笔操作从摄像头捕捉到的屏幕图像中检测激光点/ 区域，进而模拟计算机键盘/鼠标控制操作。为了能够使用激光笔与计算机进行交互，已经提出了激光点追踪装置来检测激光点的位置并用来操作计算机。US专利6275214 Bl描述了一种交互策略检测激光点的一个或多个属性；任何一个或多个属性可以被结合使用从而生成对计算机的正确指令。这些属性可能包括强度、色彩、形状、大小、移动方式和位置。US专利2008/(^66253 Al描述了一种多边形匹配的激光点检测和跟踪方法预定义参数化的激光多边形；把多边形和图像数据中每一个图形对象的轮廓进行匹配；检查匹配得到的多边形是否满足预定义参数，如满足则为候选激光多边形。文章 Laser pointer interaction，Dan R· Olsen Jr.，Travis Nielsen， Proceedingsof Association for Computing Machinery Computer Human InteractionConference Human Factors in Computing Systems. Seattle，WA, USA 2001 17 22描述了在使用卷积滤波器的情况下，最亮的红色光点被检测为激光点。文章 LumiPoint :Multi_user Laser-based interaction on Large Tiled Displays, James Davis and Xing Chen,Displays, Vol. 23-5,Elsevier Science 2002 描述了使用亮度阈值进行预处理，然后使用下采样和预测加快检测速度，同时包含笔划服务器进行点位置估计。 文章 Laser Actuated Presentation System, AtulChowdhary, Vivek Agrawal, Subhajit Karmakar，Sandip Sarkar, CoRRabs/0911. 5404 :2009 描述了使用带红色滤镜的 RGB 摄像头捕捉激光点，然后使用RGB的Blue层作为阈值属性。在现有技术中，大多数论文/专利基于假定条件如“激光点/区域最亮”或“激光点/区域最红或最绿”等对图像进行亮度或颜色属性过滤从来实现激光点/区域检测，另外有一些论文/专利使用其他方法如形状匹配、轨迹预测等技术来实现激光点/区域检测。 此外，在硬件设备方面，某些论文/专利使用特定摄像头或额外滤镜，从而减少外部环境干扰。理论上作为一个开环(Open Loop)问题，激光点/区域检测方法不可能达到100% 的检测率。摄像头捕捉到的帧图像中的某些物体可能会干扰激光点/区域检测，即便使用特定的硬件设备类似的环境干扰也不能被有效消除。另外，根据调查和实验，在不同环境条件下，所捕捉到的激光点/区域有不同的属性值表现；即便在相同环境条件，激光点/区域并不具备如前所述的固定属性值特征，例如在某些情况下，干扰点/区域表现得比激光点/ 区域更亮、更红或更绿。对于有干扰点/区域的帧图像，作了激光点/区域属性假定的已有论文/专利中的激光点/区域检测方法将会导致错误检测。
发明内容
鉴于现有技术中的上述问题，提出了本发明。根据本发明的一个方面，提供了一种激光点/区域检测方法，可以包括以下步骤 获取标准激光点/区域的特征值；从输入图像中产生候选的激光点/区域；计算每一候选的激光点/区域的特征值相对于标准激光点/区域的特征值的偏移值；以及确定具备最小特征偏移值的候选激光点/区域作为激光点/区域。该激光点/区域检测方法还可以包括基于所确定的激光点/区域的特征信息更新标准激光点/区域的特征值。所述从输入图像中产生候选的激光点/区域可以包括以预定特征阈值对帧图像进行过滤以得到候选的激光点/区域。该激光点/区域检测方法还可以包括预先定义彼此不交叠的预定数目个激光点 /区域类型；所述获取标准激光点/区域的特征值包括，分别获取该预定数目个类型的各个标准激光点/区域的特征值；所述从输入图像中产生候选的激光点区域包括，利用与该预定数目个激光点/区域类型中的每种类型相关联的特征阈值，产生被划分到预定数目个激光点/区域类型中的候选的激光点/区域；所述计算每一候选的激光点/区域的特征值相对于标准激光点/区域的特征值的偏移值包括，计算该候选的激光点/区域的特征值相对于与该候选的激光点/区域所属的类型对应的类型的标准激光点/区域的特征值的偏移值；所述确定具备最小特征偏移值的激光点/区域作为激光点/区域包括，将被划分到一个激光点/区域类型中的所有候选的激光点/区域中的具备最小特征偏移值的候选激光点/ 区域确定作为该类型的激光点/区域。所述获取标准激光点/区域的特征值可以包括下述操作中的至少一种将标准激光点/区域的特征值确定为预定的固定值；对每种激光点/区域类型，将启动所述激光点/ 区域检测方法后的包含相应类型激光点/区域的头几帧图像视为初始数据，基于此初始数据训练得到该类型的标准激光点/区域的特征值；从已经预先针对每种激光点/区域类型基于大量初始数据训练得到的每种类型的标准激光点/区域的特征值中，获取该类型的标准激光点/区域的特征值。所述预定特征阈值可以包括各个色彩属性阈值中的一个或多个。特征可以包括以下一项或多项色彩；大小和形状；以及位置和移动轨迹。计算每一候选的激光点/区域的特征值相对于标准激光点/区域的特征值的偏移值可以包括基于候选激光点/区域包含的色彩特征值和标准激光点/区域已估的色彩特征值计算色彩特征偏移值；基于候选激光点/区域包含的大小和形状特征值和标准激光点/区域已估的大小和形状特征值计算大小和形状特征偏移值；基于候选激光点/区域包含的位置和移动轨迹特征值和标准激光点/区域已估的位置和移动轨迹特征值计算位置和移动轨迹特征偏移值；为色彩、大小和形状、位置和移动轨迹特征偏移值分别设置加权因子；候选激光点/区域的特征偏移值为以下三个值之和色彩特征偏移值乘以设置的相应加权因子，大小和形状特征偏移值乘以设置的相应加权因子，位置和移动轨迹特征偏移值乘以设置的相应加权因子。此外，如果候选激光点/区域满足以下条件中的任一个，则可以将其视为干扰点/ 区域，并丢弃预定特征属性值不符合预定值或预定范围；色彩特征偏移值不符合预定值； 大小和形状特征偏移值不符合预定值；位置和移动轨迹特征偏移值不符合预定值；以及该候选激光点/区域的特征偏移值不符合特定值。根据本发明的另一方面，提供了一种激光点/区域检测装置，可以包括标准激光点/区域特征值获取部件，用于获取标准激光点/区域的特征值；候选激光点/区域产生部件，用于从输入图像中产生候选的激光点/区域；偏移值计算部件，用于计算每一候选的激光点/区域的特征值相对于标准激光点/区域的特征值的偏移值；激光点/区域确定部件， 用于确定具备最小特征偏移值的候选激光点/区域作为激光点/区域。本激光点/区域检测方法和装置可以支持多类型激光点/区域检测，具有更好的环境适应性。
图1是根据本发明一个实施例的激光点/区域检测方法的整体流程图；图2是根据本发明另一实施例的激光点/区域检测方法的流程图；图3是根据本发明一实施例的激光点/区域的类型定义、特征定义以及标准激光点/区域特征值初始化所需的元素的示意图；图4为根据本发明一个实施例的支持多类型激光点/区域检测的方法的流程图；图5显示以下激光点/区域属性的具体实例色彩分布信息、大小和形状信息、位置和移动轨迹信息；图6和图7分别显示激光点/区域类型定义的两个具体实例；图8是根据本发明一个实施例的激光点检测装置的示意性框图；以及图9是根据本发明一个实施例的可以实践本发明的示例性计算机系统。
具体实施例方式为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式
对本发明作进一步详细说明。在具体描述之前，首先总体介绍一下本发明的思想本发明阐明了一种可以支持多类型激光点/区域检测的方法，该方法旨在增加环境适应性和减少有干扰点情况下的错误检测率。此方法基于以下假定跟干扰点/区域相比，激光点/区域表现得更像“激光点 /区域”(称为标准激光点/区域)；在相同环境下，激光点/区域属性表现相对稳定。首先，定义或估计各类型的标准激光点/区域特征值以便作下一步检测，例如，在系统启动后的仅包含某一类型激光点/区域的头几帧图像可被视为初始数据集，基于此数据集可训练或估计得到标准激光点/区域特征值。然后，对每帧需要被检测的图像首先进行预处理， 例如用某些特定阈值如亮度阈值对图像进行过滤，产生候选激光点/区域(类型被区分)；其次，依照已估的某类标准激光点/区域特征值，为相应类别的每一产生的激光点/区域计算特征偏移值；第三，对每一激光点/区域类型，具有最小特征偏移值的光点/区域被检测为这一类型的激光点/区域。另外，还可以更新或合并检测到的激光点/区域特征信息到相应类别已估的标准激光点/区域特征值，以便用于下一帧图像的激光点/区域检测。图1是根据本发明一个实施例的激光点/区域检测方法100的整体流程图。如图1所示，激光点/区域检测方法100可以包括标准激光点/区域的特征值获取步骤SllO ；候选的激光点/区域生成步骤S120 ；偏移值计算步骤S130 ；激光点/区域确定步骤S140。在步骤S110，获取标准激光点/区域的特征值。本文的激光点/区域是指图像中存在激光的点/区域各个部分，一般地，当存在激光的部分大小较小时，习惯地称之为激光点，而当其大小较大时，则一般称之为激光区域。 激光点/区域可以利用各种属性或特征来描述。作为属性或特征的例子，有色彩、大小和形状、位置和移动轨迹等。一般而言，就色彩特征而言，在亮度上，激光区域一般比背景区域亮，在颜色上，在使用红色激光笔的情况下，激光区域一般比背景区域红；就大小和形状特征而言，激光区域可能表现为一般所谓的激光点状、线状或者其它形状；就位置和移动轨迹而言，连续帧图像的激光点移动轨迹一般为相对平滑轨迹。本文中的所谓标准激光点/区域是认为可以作为激光点/区域的基准的激光点/ 区域，可以通过将认为可能是激光点/区域的候选激光点/区域与该标准激光点/区域进行比较，来判断候选激光点/区域是否是激光点/区域。假设一个激光点/区域利用色彩、大小和形状、位置和移动轨迹这些特征来描述， 可以将一个激光点/区域的特征定义为向量F = (C，S，P)，此处C为色彩信息，S为大小和形状信息，P为位置和移动轨迹信息。色彩信息C例如通过RGB模型情况下的R、G、B的各项值，HSV模型情况下的H、S、V的各项值等描述。大小和形状信息S例如可以利用包含的像素数量、特定形状如圆形/方形等描述。位置和移动轨迹信息例如可以利用坐标值、前后多帧图像中激光点/区域的坐标、运动方向等来描述。标准激光点/区域的特征值可以通过多种途径来获得1、经验预置法根据使用者的经验，将标准激光点/区域的特征值定义为预定的固定值；2、实时训练法在激光点/区域检测方法启动后，以激光笔指示屏幕，获得摄像头拍摄的头η帧图像数据，把该头η帧图像被视为初始数据，从中获得例如色彩、大小和形状属性的平均值作为标准激光点/区域的特征值，这时标准激光点/区域的位置和移动轨迹属性可仅包含前几帧图像中激光点/区域位置和移动轨迹信息；3、事前训练法预先准备好大量数据，采用某些数据训练方法例如支持向量机 (Support Vector Machine, SVM)对该大量数据的特征值进行训练，将训练得到的特征值存储，在激光点/区域检测方法开始运行后，可以读取所存储的特征值作为标准激光点/区域的特征值。在上述列举的三种方法中，实时训练法因为所进行训练的头η帧图像数据的环境属性经和后续输入图像的环境属性最为类似，因此环境适应性最好；而事前训练法需要较大量数据，环境适应性不如实时训练法，但是因为标准激光点/区域的特征值已经事先准备好，因此节省了激光点/区域检测方法的时间。本领域技术人员在实践中可以根据对环境适应性和时间等的要求而决定选取何种方法来确定标准激光点/区域的特征值。需要说明的是，上述标准激光点/区域的特征值的获取方法仅仅是例子，本发明并不局限于此，任何可以获得激光点/区域的代表属性值的方法都可以应用于本发明。在步骤S120，从输入图像中产生候选的激光点/区域。可以通过以预定特征阈值对帧图像进行过滤来生成候选的激光点/区域。预定特征阈值可以为针对某些特征或者特征的组合所生成的阈值；或者由用户所制定的特定属性的特定值。例如，预定特征阈值可以为(1)强度阈值-例如，如果图像的色彩属性利用本领域公知的HSV模型描述，其中的V为“value”的缩写，表示强度，可以将V的阈值设为110，某个强度大于该阈值110的激光点/区域将是候选的激光点/区域；或(2)色度阈值-例如，在采用HSV模型的情况下，H为“hue” [色度]的缩写，针对 H的阈值，对于红激光点设为0 30和330 360，对于绿激光点设为40 80 ；(3)形状阈值-激光点形状为圆形、方形或五角形；不过上述预定特征阈值仅仅是示例，还可以包括大小阈值、饱和度阈值等等。在步骤S130，计算每一候选的激光点/区域的特征值相对于标准激光点/区域的特征值的偏移值。计算每一候选的激光点/区域的特征值相对于标准激光点/区域的特征值的偏移值可以具体如下进行基于候选激光点/区域包含的色彩特征值和标准激光点/区域已估的色彩特征值计算色彩特征偏移值；基于候选激光点/区域包含的大小和形状特征值和标准激光点/区域已估的大小和形状特征值计算大小和形状特征偏移值；基于候选激光点/区域包含的位置和移动轨迹特征值和标准激光点/区域已估的位置和移动轨迹特征值计算位置和移动轨迹特征偏移值；为色彩、大小和形状、位置和移动轨迹特征偏移值分别设置加权因子；候选激光点/区域的特征偏移值为以下三个值之和色彩特征偏移值乘以设置的相应加权因子，大小和形状特征偏移值乘以设置的相应加权因子，位置和移动轨迹特征偏移值乘以设置的相应加权因子。在步骤S140，确定具备最小特征偏移值的候选激光点/区域作为激光点/区域。图2是根据本发明另一实施例的激光点/区域检测方法200的流程图。图2所示的激光点/区域检测方法200中的步骤S210、S220、S230、S240与图1所示的激光点/区域检测方法100中的步骤3110、5120、5130、5140相同，这里对其不再加以描述。图2所示的激光点/区域检测方法200与图1所示的激光点/区域检测方法100 的不同在于多了标准激光点/区域的特征值的更新步骤S250。在步骤S240中得到了新检测出的激光点/区域之后，可以把检测到的激光点/区域特征属性值合并至标准激光点/区域特征属性值中，从而得到更新后的激光点/区域的特征值。在下一帧图像的激光点/区域检测中，该更新后的标准激光点/区域特征值作为基准来用于新的激光点/区域检测。通过以新检测出的激光点/区域的特征值来更新标准激光点/区域的特征值，使得标准激光点/区域的特征值随着时间更新，具有更好的环境适应性。上面结合图1和图2所描述的激光点/区域检测方法是一个整体通用的方法。本发明还可以支持多种类型的激光点/区域检测，下面将参考图3、图4加以描述， 图3是根据本发明一实施例的激光点/区域的类型定义、特征定义以及标准激光点/区域特征值初始化所需的元素的示意图。图4是根据本发明一个实施例的支持多类型激光点/ 区域检测的方法。如图3所示，一个光点/区域的特征113可以被定义为向量F = (C，S, P)，此处C 为色彩信息114，S为大小和形状信息115，P为位置和移动轨迹信息116。图5中的fe到5d对这些特征分别进行了示意性图示。图fe示出了一个激光点 /区域的颜色(红色)分布。图恥示出了一个激光点/区域的大小，以该激光点/区域内的像素数目来表示。图5c示出了激光点/区域的形状，图中为线形。图5d示出了激光点 /区域的运动轨迹，在该示例中，几帧图像中的激光点运动轨迹是相对平滑的曲线轨迹。本发明可以支持多种类型的激光点/区域112的检测，可将激光点/区域类型的集合用Lts表示，可表示为Zto =21，其中1为类型的数目，Lti表示第i类激光点 /区域L、。，下面举例说明多类型激光点/区域。根据色彩信息，激光点类型可定义为红色和绿色两类，如图6所示。根据形状信息，激光点/区域类型可定义为圆形、方形和五角型(可通过在激光笔上装载衍射光学元件实现)，如图7所示。在本发明的一个例子中，激光点/区域类型的数目和分类是预先定义好的，且各个类型之间不存在交叠。不过，当然，各个类型之间可以存在交叠，这时可能会出现一个激光点/区域被划分到多个类型的情况，这时本发明的技术方案仍然适用。对每一激光点/区域类型，标准激光点/区域的特征向量Fsat)可以描述为Fsm = (CS(Ll),SS{Lt)，Ps(Lt)),Lt € [Lti)1^( 1)如图4所示，在步骤S310，获取各类标准区域的特征值，从而得到类型1标准区域的特征值301、类型2标准区域的特征值302、...类型1标准区域的特征值303。与前文参考图1所述的步骤SllO的操作类似，同样可以采取经验预置法、实时训练法、事前训练法来获得各类标准激光点/区域的特征值。具体地，在采用实时训练法的情况下，在激光点/区域检测方法启动后，对于每种激光点/区域类型Lt，以对应该类激光点/区域的激光笔指示屏幕，获得摄像头拍摄的头η 帧图像数据，把该头η帧图像被视为初始数据，从中获得例如色彩、大小和形状属性的加权平均值作为标准激光点/区域的特征值，这时标准激光点/区域的位置和移动轨迹属性可仅包含前几帧图像中激光点/区域位置和移动轨迹信息。设激光点/区域类型Lt的初始数据以Dlnitat)表示，则Dlnitat)可以按下式(2)定义为该η帧图像的特征向量的集合Dlnitw = {Fmn I FInitW)=『/η·’0Λ ,仲，0,‘_)}；·=”"乏 I,Lte (Lti)I1 ⑵
其中Finitatii)表示第i帧图像中的激光点/区域的特征向量，Cinit(Lt, 表示第i 帧图像中的激光点/区域的特征向量中的色彩信息、Sinitata)表示第i帧图像中的激光点/ 区域的特征向量中的大小和形状信息、Pinitat, ο表示第i帧图像中的激光点/区域的特征向量中的位置和移动轨迹信息。其中在训练的情况下，最好每一帧图像包含且仅包含一个Lt类激光点/区域(无干扰点)。例如，对每一激光点/区域类型，初始数据可通过以下操作获得用激光笔(保持激光点亮的状态)静态地指向操作屏，操作时间至少为n/FPS秒，此处FPS表示摄像头的帧率。在获得了式(2)表示的初始数据Dlnitat)后，作为示例，可以如下估计类型Lt标准激光点/区域的特征向量Fsat)对Fsat)的每一个特征向量分量，Vsat) = Csat) V Ss(Lt) V Psat)
权利要求
1.一种激光点/区域检测方法，包括以下步骤获取标准激光点/区域的特征值；从输入图像中产生候选的激光点/区域；计算每一候选的激光点/区域的特征值相对于标准激光点/区域的特征值的偏移值；以及确定具备最小特征偏移值的候选激光点/区域作为激光点/区域。
2.根据权利要求1的激光点/区域检测方法，还包括基于所确定的激光点/区域的特征信息更新标准激光点/区域的特征值。
3.根据权利要求1的方法，所述从输入图像中产生候选的激光点/区域包括以预定特征阈值对帧图像进行过滤以得到候选的激光点/区域。
4.根据权利要求1的激光点/区域检测方法，还包括，预先定义彼此不交叠的预定数目个激光点/区域类型，其中所述获取标准激光点/区域的特征值包括，分别获取该预定数目个类型的各个标准激光点/区域的特征值；所述从输入图像中产生候选的激光点区域包括，利用与该预定数目个激光点/区域类型中的每种类型相关联的特征阈值，产生被划分到预定数目个激光点/区域类型中的候选的激光点/区域；所述计算每一候选的激光点/区域的特征值相对于标准激光点/区域的特征值的偏移值包括，计算该候选的激光点/区域的特征值相对于与该候选的激光点/区域所属的类型对应的类型的标准激光点/区域的特征值的偏移值；所述确定具备最小特征偏移值的激光点/区域作为激光点/区域包括，将被划分到一个激光点/区域类型中的所有候选的激光点/区域中的具备最小特征偏移值的激光点/区域确定作为该类型的激光点/区域。
5.根据权利要求1的激光点/区域检测方法，其中所述获取标准激光点/区域的特征值包括下述操作中的至少一种将标准激光点/区域的特征值确定为预定的固定值；对每种激光点/区域类型，将启动所述激光点/区域检测方法后的包含相应类型激光点/区域的头几帧图像视为初始数据，基于此初始数据训练得到该类型的标准激光点/区域的特征值；从已经预先针对每种激光点/区域类型基于大量初始数据训练得到的每种类型的标准激光点/区域的特征值中，获取该类型的标准激光点/区域的特征值。
6.根据权利要求3的方法，其中所述预定特征阈值包括各个色彩属性阈值中的一个或多个。
7.根据权利要求1的方法，所述特征包括以下一项或多项色彩；大小和形状；以及位置和移动轨迹。
8.根据权利要求1的方法，所述计算每一候选的激光点/区域的特征值相对于标准激光点/区域的特征值的偏移值包括基于候选激光点/区域包含的色彩特征值和标准激光点/区域已估的色彩特征值计算色彩特征偏移值；基于候选激光点/区域包含的大小和形状特征值和标准激光点/区域已估的大小和形状特征值计算大小和形状特征偏移值；基于候选激光点/区域包含的位置和移动轨迹特征值和标准激光点/区域已估的位置和移动轨迹特征值计算位置和移动轨迹特征偏移值；为色彩、大小和形状、位置和移动轨迹特征偏移值分别设置加权因子； 候选激光点/区域的特征偏移值为以下三个值之和色彩特征偏移值乘以设置的相应加权因子，大小和形状特征偏移值乘以设置的相应加权因子，位置和移动轨迹特征偏移值乘以设置的相应加权因子。
9.根据权利要求8的方法，如果候选激光点/区域满足以下条件中的任一个，则将被视为干扰点/区域，而被丢弃预定特征属性值不符合预定值或预定范围； 色彩特征偏移值大于预定值； 大小和形状特征偏移值大于预定值； 位置和移动轨迹特征偏移值大于预定值； 该候选激光点/区域的特征偏移值大于特定值。
10.一种激光点/区域检测装置，包括标准激光点/区域特征值获取部件，用于获取标准激光点/区域的特征值； 候选激光点/区域产生部件，用于从输入图像中产生候选的激光点/区域； 偏移值计算部件，用于计算每一候选的激光点/区域的特征值相对于标准激光点/区域的特征值的偏移值；激光点/区域确定部件，用于确定具备最小特征偏移值的候选激光点/区域作为激光点/区域。
全文摘要
提供了一种激光点/区域检测方法和装置。该激光点/区域检测方法包括以下步骤获取标准激光点/区域的特征值；从输入图像中产生候选的激光点/区域；计算每一候选的激光点/区域的特征值相对于标准激光点/区域的特征值的偏移值；以及确定具备最小特征偏移值的候选激光点/区域作为激光点/区域。本激光点/区域检测方法可以支持多类型激光点/区域检测，具有更好的环境适应性。
文档编号G06K9/46GK102270298SQ20101019353
公开日2011年12月7日 申请日期2010年6月4日 优先权日2010年6月4日
发明者于海龙, 张文波, 李东来, 潘苹萍 申请人:株式会社理光