专利名称：基于颜色识别与跟踪的人机交互方法
技术领域：
本申请涉及人机交互领域，尤其涉及一种基于颜色识别与跟踪的人机交互方法。
背景技术：
人机交互功能主要靠可输入输出的外部设备控制有关设备的运行。鼠标和键盘是最常见也是最经典的人机交互硬件。1983年，第一款鼠标是伴随苹果公司Lisa电脑发布的；随后不久，微软操作系统Windows 3.1宣布对其兼容，从此以后鼠标伴随操作系统和电脑的普及开始变成标配产品。尤其是鼠标的出现，图形化和直观的控制更加符合人的自然习惯，这是人机交互的第一次革命。近些年来迅速普及的多点触摸技术，是人机交互史上的第二次革命，而引领它的又是苹果公司与它的革命性手机iPhone。一开始个人移动智能终端的交互方案一直局限于传统PC经典的键盘鼠标的设置，但是键盘鼠标的便携性无法满足智能终端的需求。但多点触摸打开了另外一扇窗户，它让所有人意识到其实键盘可以成为触摸的一部分，而很多命令其实能通过多个手指在触摸屏上划动方式的不同来完成。这样的整合，让移动终端真正摆脱了传统PC终端的思维桎梏。多点触摸以手势来完成人机交互，更易于上手，同时也更加自然。随着近些年来计算机处理能力的大幅度提高，以及模式识别等技术的发展，体感控制逐渐从幕后走到了前台，正在逐渐发展为第三次人机交互史上的革命。体感控制主要思路是通过摄像头以及外部手柄等设备，实时的捕获人体的运动状态，根据人体的运动来完成各种命令。比较著名的有微软的Kinect、任天堂的Wi1、索尼PS Move等，他们一般使用摄像头捕捉使用者的肢体动作，或是进行脸部辨识。感应器也内建麦克风，可以用来识别语音指令，但是一般价格也较为昂贵，目前一般都是在游戏领域使用。虽然体感控制技术近些年来得到了长足的发展，但是其自身弊端也很明显，一方面体感控制的设备都比较昂贵、不方便携带；另一方面容易受到各种情况的干扰、精度得不到保证。因此找到一种更加廉价、更加精确的人机交互方法是很有必要的。
发明内容
在下文中给出关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。本发明的一个主要目的在于提供一种成本较低且精度较高的人机交互方法。为实现上述目的，本发明提供了一种基于颜色识别与跟踪的人机交互方法，包括以下步骤:步骤一:根据拍摄的候选物体的影像识别候选物体的颜色，并在候选物体的颜色属于预定的多种颜色之一时，设定所述候选物体的颜色为跟踪颜色，设定候选物体为跟踪颜色体；步骤二:根据在当前的图像中跟踪颜色体的中心位置预测在下一帧图像中跟踪颜色体的中心位置；步骤三:在预测的中心位置附近的预设的坐标区域内，判断所述坐标区域的每个像素点是否为所述跟踪颜色体的像素点；步骤四:根据获得的跟踪颜色体的像素点计算所述跟踪颜色体的中心位置，并返回步骤二以根据所述跟踪颜色体的中心位置继续预测在下下一帧图像中所述跟踪颜色体的中心位置；步骤五:根据检测出的所有属于跟踪颜色体的像素点，获取所述跟踪颜色体的外形；以及步骤六，根据所述跟踪颜色体的外形在图像中的坐标以及坐标运动轨迹判断控制行为以进行人机交互。本发明针对体感控制的应用场景，提出了基于颜色识别与跟踪的人机交互方法，通过预定的颜色、识别颜色可设定跟踪颜色体，通过位置预测和修正可准确对颜色进行跟踪，既降低了体感识别的成本，也提高了跟踪准确率。
参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。附图中的部件只是为了示出本发明的原理。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。图1为本发明基于颜色识别与跟踪的人机交互方法的一种实施方式的流程图。图2为图1中步骤SI的流程图。图3图1中步骤S2的流程图。
具体实施例方式下面参照附图来说明本发明的实施例。在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。参考图1至图3，本发明的基于颜色识别与跟踪的人机交互方法可用于为计算机、游戏机、IPTV机顶盒、高清播放机等多种硬件产品提供人机控制功能，包括以下步骤S1-S6:步骤S1:根据拍摄的候选物体的影像识别候选物体的颜色，并在候选物体的颜色属于预定的多种颜色之一时，设定候选物体的颜色为跟踪颜色，设定候选物体为跟踪颜色体I。本发明的实施例中，按照彩虹定义构建7种颜色，S卩，红、橙、黄、绿、蓝、靛、紫，作为预定的多种颜色。假设7种颜色的HSV(颜色信息、纯度、明度)空间的三种分量分别符合正态分布:
权利要求
1.一种基于颜色识别与跟踪的人机交互方法，包括以下步骤: 步骤一:根据拍摄的候选物体的影像识别候选物体的颜色，并在候选物体的颜色属于预定的多种颜色之一时，设定所述候选物体的颜色为跟踪颜色，设定候选物体为跟踪颜色体； 步骤二:根据在当前的图像中跟踪颜色体的中心位置预测在下一帧图像中跟踪颜色体的中心位置； 步骤三:在预测的中心位置附近的预设的坐标区域内，判断所述坐标区域的每个像素点是否为所述跟踪颜色体的像素点； 步骤四:根据获得的跟踪颜色体的像素点计算所述跟踪颜色体的中心位置，并返回步骤二以根据所述跟踪颜色体的中心位置继续预测在下下一帧图像中所述跟踪颜色体的中心位置； 步骤五:根据检测出的所有属于跟踪颜色体的像素点，获取所述跟踪颜色体的外形；以及 步骤六，根据所述跟踪颜色体的外形在图像中的坐标判断控制行为以进行人机交互。
2.如权利要求1所述的基于颜色识别与跟踪的人机交互方法，其特征在于:所述步骤一包括: 拍摄初始化界面； 在所述初始化界面中显示初始化位置范围； 拍摄所述初始化位置范围 内的目标物体；以及 识别所述目标物体的颜色，当所述目标物体的颜色属于预定的多种颜色之一时，设定所述目标物体的颜色为所述跟踪颜色体。
3.如权利要求2所述的基于颜色识别与跟踪的人机交互方法，其特征在于:所述拍摄所述初始化位置范围内的目标物体包括拍摄从所述初始化位置范围沿预设的路线移动一段距离的目标物体。
4.如权利要求1所述的基于颜色识别与跟踪的人机交互方法，其特征在于:所述步骤二包括通过卡尔曼滤波来预测在下一帧图像中跟踪颜色体的中心位置。
5.如权利要求4所述的基于颜色识别与跟踪的人机交互方法，其特征在于，通过卡尔曼滤波来预测在下一帧图像中跟踪颜色体的中心位置包括: 构建卡尔曼滤波器，其系统状态为:xk = (sx, Sy, Vx, Vy)，其中Sx、Sy分别代表所述跟踪颜色体的中心在X轴和I轴的坐标，Vx> Vy分别是所述跟踪颜色体在X轴和y轴的速度，初始速度设为O ; 所述跟踪颜色体在图像中的二维观测向量为:Zk = (xzk, yzk)，xzk为所述跟踪颜色体的中心在X轴的观测向量，yzk为所述跟踪颜色体的中心在I轴的观测向量； 所述卡尔曼滤波器的系统状态方程为:Xk+1 = AXk+Wk，其中A为状态转移矩阵，Wk为噪声向量; 所述状态转移矩阵A为:
6.如权利要求1所述的基于颜色识别与跟踪的人机交互方法，其特征在于:所述预定的多种颜色包括红、橙、黄、绿、蓝、靛、紫。
7.如权利要求1所述的基于颜色识别与跟踪的人机交互方法，其特征在于:步骤五中获取跟踪颜色体的外形包括获取跟踪颜色体的最小外接形状。
8.如权利要求7所述的基于颜色识别与跟踪的人机交互方法，其特征在于:步骤五中获取跟踪颜色体的外形包括凸显跟踪颜色体的最小外接形状。
9.如权利要求1所述的基于颜色识别与跟踪的人机交互方法，其特征在于:步骤三中判断所述坐标区域的每个像素点是否为所述跟踪颜色体的像素点包括判断所述坐标区域的每个像素点属于所述跟踪颜色的概率是否大于预设的阈值，如果所述坐标区域的各像素点属于所述跟踪颜色的概率大于预设 的阈值，则判定该像素点为所述跟踪颜色体的像素点。
全文摘要
本申请涉及一种基于颜色识别与跟踪的人机交互方法，包括根据候选物体的影像识别其颜色，在其颜色属于预定的多种颜色之一时，设定其颜色为跟踪颜色，设定候选物体为跟踪颜色体；根据当前的图像中跟踪颜色体的中心位置预测下一帧图像中跟踪颜色体的中心位置；在预测的中心位置附近预设的坐标区域内，判断坐标区域的每个像素点是否为跟踪颜色体的像素点；根据获得的跟踪颜色体的像素点计算跟踪颜色体的中心位置，并根据跟踪颜色体的中心位置继续预测在下下一帧图像中跟踪颜色体的中心位置；根据跟踪颜色体的像素点获取其外形；以及，根据跟踪颜色体的外形在图像中的坐标判断控制行为以进行人机交互。本发明成本低且准确率高。
文档编号G06K9/00GK103186230SQ20111045666
公开日2013年7月3日 申请日期2011年12月30日 优先权日2011年12月30日
发明者王铮 申请人:北京朝歌数码科技股份有限公司