专利名称：用于识别激光点的设备、方法和系统的制作方法
技术领域：
本发明涉及图像处理领域，更具体地，本发明涉及用于自动地识别激光点并定位该激光点在图像中的坐标的设备、方法和系统。
背景技术：
随着用户的需要以及技术的发展，已经开发出了将图像投影到屏幕上，并且采用激光指针(laser pointer)作为输入装置的虚拟白板系统或讲演系统。例如，在美国专利申请20060284832A1 (专利文献1)中公开了一种用于定位激光点的设备，其中在屏幕和照相装置之间设置散射光学元件以便在图像中将激光点转换为容易识别的散射图案，然后计算机从照相装置接收图像，并且基于图像中的散射图案在显示器上显示对应的光标。此外，在美国专利申请20030132912A1 (专利文献2)中公开一种使用激光指针 (其中该激光指针包括红外线发射部件和激光束发射部件)的讲演系统，其中由红外线传感器检测被投影到屏幕上的红外线的投影图像，然后将投影图像的移动方向和移动距离转换为计算机可使用的鼠标数据。此夕卜，在 Dan R. Olsen Jr. , Travis Nielsen 等人的"Laser Pointer Interaction”中公开了一种使用激光指针和照相装置实现交互的技术，其中使用校准技术 (Calibration techniques)来实现显示和照相装置坐标的同步。然而，在现有技术中用于自动地识别激光点并定位该激光点的技术仍然存在各种问题。例如，专利文献1中的技术需要额外的硬件(即，散射光学元件)来定位激光指针，这增加的系统的复杂程度，并且导致系统成本的增加。此外，专利文献2中的技术不能检测可见光(激光束)，并且需要额外的硬件支持 (如，红外线发射部件和红外线传感器)，这同样地增加的系统的复杂程度以及成本。另夕卜，在 Dan R. Olsen Jr. , Travis Nielsen 等人的"Laser Pointer Interaction”中描述的技术仅关注激光点的最亮部分，而这可能降低检测结果的精度，并且要求照相装置的特定曝光条件，也就是，必须关闭照相装置的自动亮度调节功能。因此，希望提供一种不需要额外的硬件支持也能够精确地识别激光点并定位激光点在图像中的位置的技术。
发明内容
为了解决现有技术中存在的各种技术问题，本发明提供一种在不依赖于诸如特定的散射部件或特定的照相装置之类的特定的硬件，并且降低对曝光条件的要求的同时，精确地识别激光点或区域的设备、方法以及系统。根据本发明的一个方面，提供一种用于识别激光点并在定位该激光点的坐标的设备，包括前景计算单元，用于从照相装置所拍摄的图像中计算图像的前景图像；阈值估计单元，用于在设备的初始化阶段，基于前景计算单元计算的前景图像自动估计用于前景图像的像素的亮度、饱和度以及色调的阈值；激光点检测单元，用于基于前景图像以及像素的亮度、饱和度以及色调的阈值检测激光点；和定位单元，用于基于激光点检测单元检测到的激光点来计算激光点在所拍摄的图像中的坐标。其中，根据本发明的一个实施例，前景计算单元首先计算所拍摄的图像的背景图像，并且通过从所拍摄的图像中减去背景图像来计算前景图像。其中，根据本发明的一个实施例，阈值估计单元针对前景图像进行分析，通过统计前景图像中的像素的亮度、饱和度以及色调值来估计前景图像中的像素亮度、饱和度以及色调的阈值。其中，根据本发明的一个实施例，激光点检测单元根据所拍摄的图像中的像素的亮度、饱和度以及色调值对像素进行分类，并且基于分类的结果来检测激光点，其中，如果像素满足以下关系B(p) > Tl (b)S(p) < Tl (s)则将其划分为第一类像素，其中ρ为像素，B(p)为像素的亮度值，Tl (ρ)为像素的亮度的第一阈值，S (P)为像素的饱和度值，而Tl (S)为像素的饱和度的第一阈值，而如果像素满足以下关系H(P) e T(h)B (ρ) > T2 (b)S(p) >T2 (s)则将其划分为第二类像素，其中Η(ρ)为像素的色调值，T2(b)为像素的亮度的第二阈值，而T2 (s)为像素的饱和度的第二阈值，和将剩余的像素分类为第三类像素。其中，根据本发明的一个实施例，激光点检测单元分别计算包括第一类像素以及第二类像素的连通区域RA和RB，并且排除所有的第三类像素，排除具有像素数大于预定像素数的第一类像素区域RA，合并距离小于预定阈值的剩余第一类像素区域RA以产生像素区域MA，排除与第二类像素区域RB不相邻的所有像素区域MA，合并与统一像素区域MA相邻的第二类像素区域RB以产生像素区域MB，判断像素区域MA和像素区域MB的重合程度并排除重合程度小于预定重合阈值的像素区域MA和像素区域MB，并且判断剩余的像素区域 MA轮廓，和如果剩余的像素区域MA的轮廓趋近于圆形，则激光点检测单元将像素区域MA判断为激光点。其中，根据本发明的一个实施例，定位单元计算激光点的中心的坐标来产生所述激光点的坐标。此外，根据本发明的另一方面，提供一种用于识别激光点并定位该激光点的坐标的方法，包括步骤从照相装置所拍摄的图像中计算所述图像的前景图像；在初始化阶段， 基于前景计算单元计算的所述前景图像自动估计用于前景图像的像素的亮度、饱和度以及色调的阈值；基于所述前景图像以及所述像素的亮度、饱和度以及色调的阈值检测激光点； 和基于所述激光点检测单元检测到的激光点来计算所述激光点在所拍摄的图像中的坐标。其中，根据本发明的一个实施例，首先计算所拍摄的图像的背景图像，并且通过从所拍摄的图像中减去背景图像来计算前景图像。
其中，根据本发明的一个实施例，针对前景图像进行分析，通过统计前景图像中的像素的亮度、饱和度以及色调值来估计前景图像中的像素亮度、饱和度以及色调的阈值。其中，根据本发明的一个实施例，根据所拍摄的图像中的像素的亮度、饱和度以及色调值对像素进行分类，并且基于分类的结果来检测激光点，其中，如果像素满足以下关系B(p) > Tl (b) S(p) < Tl (s)则将其划分为第一类像素，其中ρ为像素，B(p)为像素的亮度值，Tl (ρ)为像素的亮度的第一阈值，S (P)为像素的饱和度值，而Tl (S)为像素的饱和度的第一阈值，而如果像素满足以下关系H(p) e T(h)B (ρ) > T2 (b)S (ρ) > T2 (s)则将其划分为第二类像素，其中H(p)为像素的色调值，T2(b)为像素的亮度的第二阈值，而T2 (s)为像素的饱和度的第二阈值，和将剩余的像素分类为第三类像素。其中，根据本发明的一个实施例，分别计算包括第一类像素以及第二类像素的连通区域RA和RB，并且排除所有的第三类像素，排除具有像素数大于预定像素数的第一类像素区域RA，合并距离小于预定阈值的剩余第一类像素区域RA以产生像素区域MA，排除与第二类像素区域RB不相邻的所有像素区域MA，合并与统一像素区域MA相邻的第二类像素区域RB以产生像素区域MB，判断像素区域MA和像素区域MB的重合程度并排除重合程度小于预定重合阈值的像素区域MA和像素区域MB，并且判断剩余的像素区域MA轮廓，和如果剩余的像素区域MA的轮廓趋近于圆形，则激光点检测单元将像素区域MA判断为激光点。其中，根据本发明的一个实施例，计算激光点的中心的坐标来产生所述激光点的坐标。此外，根据本发明的另一方面，提供一种虚拟白板系统，包括投影装置，用于在屏幕上投影可视图像；激光指针，用于将激光束投射到所述屏幕上；照相装置，用于拍摄在屏幕上投影的图像；和用于识别激光点并定位该激光点的坐标的设备，包括前景计算单元， 用于从照相装置所拍摄的图像中计算所述图像的前景图像；阈值估计单元，用于在所述设备的初始化阶段，基于前景计算单元计算的所述前景图像自动估计用于前景图像的像素的亮度、饱和度以及色调的阈值；激光点检测单元，用于在所述设备的处理阶段，基于前景计算单元计算的所述前景图像以及所述像素的亮度、饱和度以及色调的阈值检测激光点；和定位单元，用于基于所述激光点检测单元检测到的激光点来计算所述激光点在所拍摄的图像中的坐标。根据本发明的用于一种用于识别激光点并定位该激光点的坐标的设备、方法以及系统，可以不借助于特殊的硬件精确地识别激光点的位置以提高虚拟白板系统或讲演系统的性能，同时可以降低系统的成本。
图1是图解根据本发明实施例的虚拟白板系统的结构的方框图；图2是图解根据本发明实施例的激光点识别设备的结构的方框图3是简要说明根据本发明实施例的激光点识别设备执行的处理的流程图；图4(a)到(4c)为图解前景图像计算的示例的图示；图5(a)到5(d)为图解像素分类处理的的示例的图示；和图6(a)和6(b)为图解环境中 的干扰的示例的图示；
具体实施例方式在这里，将参照附图详细描述根据本发明的实施例，其中在全部附图中，使用相同的附图标记来指示相同或相似的组成部分，并且省略其不必要的重复描述。下面，将描述根据本发明实施例的虚拟白板系统。图1图解虚拟白板系统1的结构。如图1所示，根据本发明实施例的虚拟白板系统1包括投影装置10、诸如激光笔之类的激光指针20、照相装置30 (诸如照相机、摄像机或摄像头)、激光点识别设备40和信息处理设备50等。投影装置10接收由诸如计算机、服务器、移动终端设备之类的信息处理设备50产生的可视图像，并且将所接收到的可视图像投影到屏幕(例如，墙面、帆布)上。 激光指针20由用户操作，以将激光束投射到屏幕上。例如，用户可以利用该激光指针20执行诸如写入、选择、画图之类的各种操作。照相装置30拍摄投影在屏幕上的图像，并且向激光点识别设备40发送所拍摄的图像作为输入图像。激光点识别设备40与照相装置30连接，并且接收来自照相装置30的输入图像来识别激光点并计算该激光点在输入图像中的坐标(位置)，并且将所产生的关于激光点的坐标的信息发送到信息处理设备50以基于预定的程序以及激光点的位置来执行与鼠标的功能类似的、诸如写入、选择、画图之类的各种操作。这里，需要注意的是，照相装置30可以以有线方式或无线方式连接到激光点识别设备40。此外，激光点识别设备40可以由诸如计算机、服务器、移动终端之类的设备构成， 并且可以例如，通过向诸如计算机之类的终端设备安装软件的方式与信息处理设备50合并为一个部件。此外，信息处理设备50还可以通过诸如局域网或因特网之类的网络与其它的信息处理设备50连接来将关于激光点的位置的信息发送到在网络上的其他信息处理设备50以组成诸如远程讲演系统或远程虚拟白板系统之类的系统。现在，将根据图2简要描述根据本发明实施例的激光点识别设备40的结构。如图 2所示，激光点识别设备40包括前景计算单元401、阈值估计单元402、激光点检测单元403 和定位单元404。前景计算单元401接收照相装置30发送的输入图像，并且计算该图像的前景图像。在激光点识别设备40的初始化阶段时，阈值估计单元402接收来自前景计算单元 401的前景图像，对前景计算单元计算的前景图像进行分析，以产生用于前景图像的像素的亮度、饱和度以及色调的阈值。在产生了关于像素的亮度、饱和度以及色调的阈值之后，在处理阶段，激光点检测单元403基于前景图像中的各个像素的像素值以及像素的上述阈值识别激光点(将在下面具体描述)，并且将识别结果(即，进行检测操作检测到的激光点) 发送到定位单元404。然后，定位单元404基于识别结果来计算所述激光点在照相装置30 所拍摄的输入图像中的坐标。接下来，将参照图3详细描述根据本发明实施例的激光点识别设备40执行的处理的流程。
在包括激光点识别设备40的虚拟白板系统1的初始化阶段，在步骤S301，虚拟白板系统1中的投影装置10启动，并且将预设的画面(如，开机画面或待机画面)投影到屏幕上。此时，启动照相装置30来拍摄由投影装置10投影的图像，并且将照相装置30拍摄的图像发送的激光点识别设备40。在这里，例如，根据本发明的一个实施例，在虚拟白板系统1的初始化阶段，可以在信息处理设备50或激光点识别设备40上设置的显示装置(未示出)上显示由投影装置10投影的图像，以便用户能够调整照相装置30的位置以容纳投影装置10所投影的全部图像。然后，开始执行设置阈值并识别激光点的处理。在虚拟白板系统1的初始化阶段中，用户可以在预定时间段(例如，10秒)内使用激光指针20将激光点投射在屏幕上，并且可以在此屏幕的范围内随意挥动。在此期间，在步骤S302，激光点识别设备40的前景计算单元401从照相装置30接收其拍摄的每一帧图像，并且从当前接收到的图像中产生背景图像，以通过从当前接收到的图像中产生该图像的前景图像。具体地，根据本发明的一个实施例，采用高斯背景模型来计算背景图像。基于高斯背景模型，如果对于给定的图像中的任意像素p(x，y)点满足下面的公式(1)，则将该像素 P(x，y)认为是背景像素
权利要求
1.一种用于识别激光点并定位该激光点的坐标的设备，包括前景计算单元，用于从照相装置所拍摄的图像中计算所述图像的前景图像； 阈值估计单元，用于在所述设备的初始化阶段，基于前景计算单元计算的所述前景图像自动估计用于前景图像的像素的亮度、饱和度以及色调的阈值；激光点检测单元，用于在所述设备的处理阶段，基于前景计算单元计算的所述前景图像以及所述像素的亮度、饱和度以及色调的阈值检测激光点；和定位单元，用于基于所述激光点检测单元检测到的激光点来计算所述激光点在所拍摄的图像中的坐标。
2.如权利要求1所述的设备，其中所述前景计算单元首先计算所拍摄的图像的背景图像，并且通过从所拍摄的图像中减去所述背景图像来计算所述前景图像。
3.如权利要求1所述的设备，其中阈值估计单元针对所述前景图像进行分析，通过统计所述前景图像中的像素的亮度、 饱和度以及色调值来估计所述前景图像中的像素亮度、饱和度以及色调的阈值。
4.如权利要求1所述的设备，其中激光点检测单元根据所拍摄的图像中的像素的亮度、饱和度以及色调值对所述像素进行分类，并且基于分类的结果来检测激光点。 其中，如果像素满足以下关系 B(p) > Tl(b) S(p) < Tl(S)则将其划分为第一类像素，其中P为所述像素，B(p)为所述像素的亮度值，Tl (ρ)为像素的亮度的第一阈值，s (ρ)为所述像素的饱和度值，而Tl (s)为像素的饱和度的第一阈值， 如果像素满足以下关系 H(p) e T(h) B(p) > T2(b) S(p) > T2(s)则将其划分为第二类像素，其中H(p)为所述像素的色调值，T2(b)为像素的亮度的第二阈值，而T2 (s)为像素的饱和度的第二阈值，和将剩余的像素分类为第三类像素。
5.如权利要求4所述的设备，其中激光点检测单元分别计算包括第一类像素以及第二类像素的连通区域RA和RB，并且排除所有的第三类像素，排除具有像素数大于预定像素数的第一类像素区域RA，合并距离小于预定阈值的剩余第一类像素区域RA以产生像素区域MA，排除与第二类像素区域RB不相邻的所有像素区域MA，合并与统一像素区域MA相邻的第二类像素区域RB以产生像素区域MB，判断像素区域MA和像素区域MB的重合程度并排除重合程度小于预定重合阈值的像素区域MA和像素区域MB，并且判断剩余的像素区域MA轮廓，和如果剩余的像素区域MA的轮廓趋近于圆形，则激光点检测单元将所述像素区域MA判断为激光点。
6.如权利要求1所述的设备，其中定位单元计算激光点的中心的坐标来产生所述激光点的坐标。
7.一种用于识别激光点并定位该激光点的坐标的方法，包括步骤 从照相装置所拍摄的图像中计算所述图像的前景图像；在初始化阶段，基于前景计算单元计算的所述前景图像自动估计用于前景图像的像素的亮度、饱和度以及色调的阈值；在处理阶段，基于所述前景图像以及所述像素的亮度、饱和度以及色调的阈值检测激光点；和基于所述激光点检测单元检测到的激光点来计算所述激光点在所拍摄的图像中的坐标。
8.如权利要求7所述的方法，其中检测激光点的步骤包括根据所拍摄的图像中的像素的亮度、饱和度以及色调值对所述像素进行分类，并且基于分类的结果来检测激光点。 其中如果像素满足以下关系 B(p) > Tl(b) S(p) < Tl(S)则将所述像素划分为第一类像素，其中P为所述像素，B(p)为所述像素的亮度值， Tl (ρ)为像素的亮度的第一阈值，s (ρ)为所述像素的饱和度值，而Tl (s)为像素的饱和度的第一阈值，如果像素满足以下关系 H(p) e T(h) B(p) > T2(b) S(p) > T2(s)则将所述像素划分为第二类像素，其中H(p)为所述像素的色调值，T2(b)为像素的亮度的第二阈值，而T2 (s)为像素的饱和度的第二阈值，和将剩余的像素分类为第三类像素。
9.如权利要求8所述的方法，其中分别计算包括第一类像素以及第二类像素的连通区域RA和RB，并且排除所有的第三类像素；排除具有像素数大于预定像素数的第一类像素区域RA ； 合并距离小于预定距离阈值的剩余第一类像素区域RA以产生像素区域MA ； 排除与第二类像素区域RB不相邻的所有像素区域MA; 合并与统一像素区域MA相邻的第二类像素区域RB以产生像素区域MB ； 判断像素区域MA和像素区域MB的重合程度并排除重合程度小于预定阈值的像素区域 MA和像素区域MB ；判断剩余的像素区域MA轮廓，和如果剩余的像素区域MA的轮廓趋近于圆形，则将所述像素区域MA判断为激光点。
10.一种虚拟白板系统，包括投影装置，用于在屏幕上投影可视图像； 激光指针，用于将激光束投射到所述屏幕上； 照相装置，用于拍摄在屏幕上投影的图像；和用于识别激光点并定位该激光点的坐标的设备，包括 前景计算单元，用于从照相装置所拍摄的图像中计算所述图像的前景图像； 阈值估计单元，用于在所述设备的初始化阶段，基于前景计算单元计算的所述前景图像自动估计用于前景图像的像素的亮度、饱和度以及色调的阈值；激光点检测单元，用于在所述设备的处理阶段，基于前景计算单元计算的所述前景图像以及所述像素的亮度、饱和度以及色调的阈值检测激光点；和定位单元，用于基于所述激光点检测单元检测到的激光点来计算 所述激光点在所拍摄的图像中的坐标。
全文摘要
用于识别激光点并在投影屏幕上定位该激光点的坐标的设备，包括前景计算单元，用于从照相装置所拍摄的图像中计算所述图像的前景图像；阈值估计单元，用于在所述设备的初始化阶段，基于前景计算单元计算的所述前景图像自动估计所述前景图像中的像素的亮度、饱和度以及色调的阈值；激光点检测单元，用于基于所述前景图像以及所述像素的亮度、饱和度以及色调的阈值检测激光点；和定位单元，用于基于所述激光点检测单元检测到的激光点来计算所述激光点在所拍摄的图像中的坐标。
文档编号G06F3/03GK102193651SQ201010122008
公开日2011年9月21日 申请日期2010年3月11日 优先权日2010年3月11日
发明者张文波 申请人:株式会社理光