专利名称：一种基于计算机图像和纯色物体的互动输入控制方法
技术领域：
本发明涉及基于静态或动态图像的互动输入控制方法，尤指一种使用摄像机或摄像头摄取动态图像的互动输入控制方法。
背景技术：
传统的计算机输入控制装置主要包括键盘、鼠标、操纵杆(含各类方向盘、操控手柄、跳舞毯等)和定位装置(如简单的超声波定位系统、电磁式定位系统等)。但是，除定位装置以外，上述所有的输入控制装置均需要有线连接，因此在一定程度上限制了使用者的操作空间。
对于传统的定位装置，使用者在操作时均需要佩戴与之配套的传感器或反光球。例如，光学捕捉设备就是通过提供一定数量的专用反光球给使用者，让他们绑定在身体的关键部位，然后通过若干高速摄像机捕捉并分析使用者的动作，进而输出使用者身体各部位的三维坐标及空间方向。虽然上述光学捕捉设备能提供高精度的数据，但是其费用高昂、调试复杂，因而家庭用户无法接受。
而且，传统的计算机游戏都是让使用者去扮演或控制一个或多个虚拟角色来进行游戏的，因此使用者与虚拟角色之间在视觉上是隔离的。
另外，采用差分的图像分析方法只能对动态图像进行捕捉分析，不能处理静态图像或变化非常缓慢的动态图像，而且对动态图像中变化比较复杂时容易产生误差。
因此提供一种使用简单、成本低、能处理分析动态图像且准确度高的基于图像和纯色物体的互动输入控制系统实为必要。
发明内容
本发明的主要目的在于提供一种基于图像和纯色物体的互动输入控制方法，可实现实时、互动、灵活、准确的输入。
本发明的另一目的在于提供一种基于图像和纯色物体的互动输入控制系统，可实现实时、互动、灵活、准确的输入。
本发明的目的是通过以下技术方案来实现的提供一种基于图像的互动输入控制方法，包括如下步骤(1)进行图像采集；(2)对前述采集的图像进行处理；(3)对前述处理后的图像进行分析判断，并得出判断结果；(4)对前述判断结果进行信号转换，转换为计算机可识别的信号。
在本发明中，该图像采集可通过一个或多个图像输入设备来进行。该纯色物体可以为一个或多个相同颜色或者不同颜色的物体，也可以是非纯色物体中的一部分或边缘轮廓。
其中，对采集的图像进行处理的步骤包括将采集的图像数据中的每一帧进行缩放处理；对缩放后的图像进行色彩过滤处理，得到黑白图像；对色彩转换后的图像进行降噪处理。
假如输入为多个不同颜色的纯色物体时，程序重复运行缩放、色彩过滤和降噪处理，并对经过以上同样处理的图像进行与操作，使之合并为一个图像。
其中，对处理后的图像进行分析判断的步骤包括将降噪处理后的图像寻找轮廓处理，得到矢量数据；将矢量数据进行分析，对矢量数据中的每部分计算其高和宽，并得到中心点；当输入的纯色物体为球体或其形状在摄像机采样后显示为圆形时，则可以更准确地进行适合椭圆适配处理，得到画面中每部分的中心和圆的半径。通过上述所得到的物体的数据，还可以计算得到物体在三维空间中的深度值，即Z轴上的值。
本发明还提供一种基于图像的互动输入控制系统，包括图像采集模块、图像处理模块、图像分析模块和信号转换模块。
图像采样模块可进行图像采集并将采集的图像输入计算机。在本发明一个实施例中，图像采样模块为一个或多个图像输入设备(例如摄像头或摄像机)，用于采集使用者的动态或静态影像。
该图像处理模块包括以下几个控制模块，分别为缩放模块(Resize module)、色彩过滤模块(Color keying module)、降噪模块(Noise reduction module)和合并模块(Combination module)。图像处理模块的功能在于将图像采样模块采集的图像数据中的每一帧进行缩放、色彩过滤和降噪，对于使用多于一种颜色的纯色物体输入时，则对经过同样缩放、色彩过滤和降噪的各个单色图像进行合并。
其中，缩放模块用于将图像采样模块采集的图像的分辨率进行缩小，以减少系统的运算负荷；色彩过滤模块用于对经缩放模块处理后的图像的颜色进行过滤，过滤出系统需要的关键颜色；而降噪模块则用于对经过色彩过滤模块处理后的图像进行降噪处理，以去除图像中不必要的噪点。当输入纯色物体多于一个时，程序需再执行色彩过滤模块和降噪模块N-1次，N等于输入纯色物体的颜色种类；然后图像合并模块对经过同样缩放、色彩过滤和降噪的各个单色图像进行合并，生成一个单色图像。
该图像分析模块包括两个控制模块，分别为轮廓寻找模块(Contours detectionmodule)和寻找中心模块(Center calculation module)。图像分析模块用于对图像处理模块处理后的图像数据进行分析，并对摄像机或摄像头采集到纯色物体进行判断。
其中，该轮廓寻找模块的作用在于通过将图像处理模块处理的黑白图像进行寻找轮廓处理，得到画面中所有白色部分的边缘轮廓的矢量数据。另外，矢量数据分析模块对轮廓寻找模块所产生的矢量数据进行分析，计算出每部分矢量数据的高度和宽度，还有中心点。当输入纯色物体为球体或其在摄像机采样下呈圆形，则可将轮廓寻找模块所产生的矢量数据进行椭圆匹配处理，得到圆的半径和圆心。
该信号转换模块的功能在于对该矢量数据分析模块所计算的结果进行转换，借以转化为计算机所能识别的输入信号，安装于计算机的计算机软件利用此已转化的信号实现使用者与计算机之间的互动控制。
通过该计算机系统，进行计算机图像处理的方法是令一摄像头或摄像机对使用者或场景进行持续拍摄，使用者可以使用或场景中包涵一个或多个相同颜色或不同颜色的纯色物体作为道具，经过由计算机采集，得到使用者或场景的影像，此影像被存储于计算机内存中，假设命名为Img0，影像的色彩可以为彩色。令一图像处理模块中的缩放模块来降低摄像头或摄像机所采集的影像Img0的分辨率，根据具体情况缩小为原尺寸的1/2或1/4甚至更小，借以减少计算机的运算量，假设另存为Img1；令一色彩过滤模块图像处理模块对缩小后的影像Img1进行色彩过滤，把系统需要的颜色的每个像素设置为1，不需要的颜色的每个像素设置为0，生成一黑白图像Img2；令一图像处理模块中的降噪模块对Img2进行降噪处理，借以减少由图像来源或环境所产生的不可预知的噪点，生成图像Img3。当输入纯色物体多于一个时，重复对Img1进行色彩过滤和降噪处理，并生成系列Img3-k(k为当前重复的次数)；令一图像处理模块中的合并模块对Img3-1和img3-k进行与操作，生成图像Img3。令一图像分析模块中的寻找轮廓模块对经过以上同样处理的Img3进行边缘寻找处理，寻找图像中所有白色区域的轮廓，得到每一部分的矢量数据；令一图像分析模块中的寻找中心模块对矢量数据中的每一部分进行分析，根据矢量数据的每部分中最大X，Y值和最小X，Y值求得其中心值Center。X，Center。Y，以及该部分的宽度Width和高度Height；当输入纯色物体为球体或其在摄像机采样下呈圆形，图像分析模块中的寻找中心模块对矢量数据中的每一部分进行椭圆匹配处理，分析每一部分的数据的每一个点是否近似于椭圆边上的点，若条件符合则借以得出椭圆的圆心Center。X，Center。Y和两个半径Radius1，Radius2。令一信号转换模块对Center。X，Center。Y和Width，Height或Radius1，Radius2转换为计算的输入信号。
本发明基于图像的互动输入控制方法，由于采用摄像头来制作捕捉设备，使用者可以在摄像头或摄像机拍摄的有效范围内随意控制，与传统的输入设备相比较，使用者不需要直接与硬件接触，输入方式灵活，而且设置简单，准确。
其次，本发明一改传统的纯虚拟交互的形式，并且改变了传统输入方式视觉上虚拟场景和真实角色之间的隔离感；本发明可实现身临其境的互动方式，让使用者在视觉上感受到其本人已经成为游戏中的一份子，在虚拟时空中的物体互动。
另外，本发明可以在成本低廉的机器上实现实时处理，即具有实时性。并且由于所需要的设备为通用设备，所以不需要专业人员维护，维护简单。
本发明中如果采用纯色的球形物体或在摄像机或摄像头拍摄下呈圆形的物体进行输入时可避免画面类似颜色的干扰，有较高的准确性。
图1是本发明互动输入控制系统的物理模块图。
图2是本发明互动输入控制方法的操作流程图。
图3是本发明互动输入控制对两个不同颜色纯色物体控制输入时的图示。
图4是图3中对红色纯色物体进行过滤处理后生成的图像。
图5是图3中对绿色纯色物体进行过滤处理后生成的图像。
图6是本发明互动输入控制对球形物体控制输入时的图示。
图7是图6中对球形物体进行过滤处理后生成的图像。
具体实施例方式
下面结合附图对本发明做进一步的说明。
请参考图1，本发明一种基于图像和纯色物体的互动输入控制系统，包括图像采样模块1、图像处理模块2、图像分析模块3和信号转换模块4。
该图像采样模块1可进行图像采集并将采集的图像输入计算机，其包括一个或多个图像输入设备(例如摄像头或摄像机)，用于采集使用者的动态或静态影像。
该图像处理模块2包括四个控制模块，分别为缩放模块21(Resize module)、色彩过滤模块22(Color keying module)、降噪模块23(Noise reduction module)和合并模块24(Combination module)。图像处理模块2用于将图像采样模块1采集的图像数据中的每一帧进行缩放、色彩过滤、降噪和合并。
其中，该缩放模块21用于将图像采样模块1采集的图像的分辨率进行缩小，以减少系统的运算负荷；色彩过滤模块22用于对经缩放模块21处理后的图像的颜色进行过滤，把系统需要的颜色的每个像素设置为1，不需要的颜色的每个像素设置为0，生成一黑白图像；而降噪模块23则用于对经过色彩过滤模块22处理后的图像进行降噪处理，以去除图像中不必要的噪点。假如用户使用N个纯色物体时(N＞0)，系统循环执行缩放模块21、色彩过滤模块22、降噪模块23进行N次；合并模块24对循环生成后的图像进行与操作，合并为一个图像。
该图像分析模块3包括寻找轮廓模块31(Contours detection module)和寻找中心模块32(Center calculation module)。该图像分析模块3用于对图像处理模块2处理后的图像数据进行分析，得到纯色物体的中心坐标和长宽信息。
其中，该轮廓寻找模块31的作用在于通过将图像处理模块处理的黑白图像进行寻找轮廓处理，得到画面中所有白色部分的边缘轮廓的矢量数据。该寻找中心模块32对轮廓寻找模块所产生的矢量数据进行分析，计算出每部分矢量数据的高度和宽度，以及中心点。当输入纯色物体为球体或其在摄像机采样下呈圆形，则可将轮廓寻找模块所产生的矢量数据进行椭圆匹配处理，得到圆的半径和圆心。
该信号转换模块4的功能在于对所述寻找中心模块32计算的坐标和长宽或半径进行转换，借以转化为计算机所能识别的输入信号，安装于计算机的计算机软件利用此已转化的信号实现使用者与计算机之间的互动控制。
请参考图2，本发明基于图像的互动输入控制方法包括如下步骤步骤100进行图像采集，可通过一个或多个图像输入设备进行图像采集；步骤200进行图像处理；步骤300进行图像分析；步骤400将步骤步骤300中图像分析的结果进行信号转换，转换为计算机可识别的信号；计算机软件利用此已转化的信号实现使用者与计算机之间的互动控制。
通过以上所述的各个流程，可完成一种基于图像和纯色物体的互动输入控制方法。
其中，该步骤200包括三个子流程，分别为1。将采集的图像数据中的每一帧进行缩放处理，步骤211，即将采集图像的分辨率缩小，以减少系统运算负荷的功能；2。对缩放后的图像进行色彩过滤处理，步骤212，即将缩放处理后的图像的颜色进行过滤，把系统需要的颜色的每个像素设置为1，不需要的颜色的每个像素设置为0，生成一黑白图像；3。对色彩转换后的图像进行降噪处理，步骤213，以去除图像中不必要的噪点。假如用户使用N个纯色物体时(N＞0)，系统循环执行步骤200N次。步骤214对步骤213所生成的各个图像进行合并，生成一个单色图像。
该步骤300包括两个子流程，分别为1.对经上述处理后的图像进行寻找轮廓处理，步骤311，即对经上述图像处理后的图像进行边缘寻找处理，寻找图像中所有白色区域的轮廓，得到每一部分的矢量数据；2.将寻找轮廓处理得到的矢量数据进行寻找中心处理，步骤312，得到矢量数据中每部分中的长宽值和中心值；当输入纯色物体为球体或其在摄像机采样下呈圆形，则寻找中心模块对矢量数据中的每一部分进行椭圆匹配处理，分析每一部分的数据的每一个点是否近似于椭圆边上的点，得到椭圆的两个半径和圆心。
下面将结合具体实际例子进一步对本发明进行详细说明。
请参考图3，所示的是本发明采用单个摄像头对使用者的两个不同颜色512(红色)和513(绿色)的纯色物体控制输入时所拍摄到的画面。
使用者511所持的纯色物体需要出现在摄像头或摄像机51的可视范围中，也可以只拍摄上半身，所拍摄的可视范围视具体应用而定。
首先摄像头或摄像机51对使用者511进行图像采集，采集的图像分辨率为640*480，颜色深度为24位，帧速为30FPS，当前帧图像储存为Img_capture。预设程序对红色，绿色的任意形状物体敏感。
请一并参考图1和图2，缩放模块21对摄像头或摄像机51所采集的图像Img_capture的分辨率进行缩小处理211，缩小后的尺寸为320*240，从而系统减少了3/4的运算量，图像储存为Img_resized；经过缩放处理211之后，色彩过滤模块22会把图像Img_resized的红色进行过滤处理212，过滤过程中可适当调整敏感度，例如对近似红色的颜色也进行过滤处理，生成图像Img_red，如图4所示；接着，降噪模块23对转换后的图像Img_red进行降噪处理213，降噪的方法主要是通过降低取样比和提高采样比来实现，也可以通过高斯模糊来实现，以降低摄像头或摄像机或环境所产生的不可预知的噪点，从而减少图像分析中的误差，图像储存为Img_Red_smooth。同样，色彩过滤模块22对图像Img_resized的绿色进行过滤生成图像Img_green，如图5所示；接着，降噪模块23对转换后的图像Img_green进行降噪，降噪的方法也是主要通过降低取样比和提高采样比来实现，也可以通过高斯模糊来实现，以降低摄像头或摄像机或环境所产生的不可预知的噪点，从而减少图像分析中的误差，图像储存为Img_Green_smooth。接着，合并模块24对Img_Red_smooth和Img_Green_smooth进行与操作，得到相同大小的图像Img_combined。
然后，寻找轮廓模块31对图像Img_combined进行寻找轮廓处理，通过对图像中的白色部分进行寻找边缘，寻找边缘的方法可以为Canny算法或其他算法，并把寻找得到的结果保存为Edge_data[2][256]，2为白色部分的数量，Edge_data[2][256]中包含了图像中每个白色部分的轮廓的坐标值。令寻找中心模块32对Edge_data[2][256]进行分析，首先分析Edge_data
[256]中的最大X，Y值和最小X，Y值，得到Xbig，Ybig，Xsmall，Ysmall，则中心点坐标为Xbig-Xsmall，Ybig-Ysmall，把中心点坐标保存为Xcenter0，Ycenter0，同理，其宽度信息为Xbig-Xsmall，保存为Width0，其高度信息为Ybig-Ysmall，保存为Height0。然后对Edge_data[1][256]的数据进行分析，得到相应的长宽数据和中心坐标位置。
最终，信号转换模块4对上述寻找中心模块32所产生的长宽数据和中心坐标位置进行转换，输出output[2][2]，数据中储存了两组包含长宽和中心坐标的信息。
以下是采用球形物体进行互动输入控制的实例请参考图6，所示的是本发明当用户采用绿色球形物体进行互动控制的采集示意图。
使用者521所持的绿色球体需要在摄像机或摄像头所拍摄的52画面中活动。
首先摄像头或摄像机对使用者521进行图像采集，采集的图像分辨率为320*240，颜色深度为24位，帧速为25FPS，当前帧图像储存为Img_capture。预设程序对绿色的圆形物体敏感。
请一并参考图1和图2，缩放模块21对摄像头或摄像机所采集的图像Img_capture的分辨率进行缩小，缩小后的尺寸为160*120，从而系统减少了3/4的运算量，图像储存为Img_resized；经过缩放处理211之后，色彩过滤模块22会把图像Img_resized的绿色进行过滤处理212，过滤过程中可适当调整敏感度，例如对近似；绿色的颜色也进行过滤处理，生成图像Img_green，如图7所示；接着，降噪模块23对转换后的图像Img_green进行降噪处理213，降噪的方法主要是通过降低取样比和提高采样比来实现，也可以通过高斯模糊来实现，以降低摄像头或摄像机或环境所产生的不可预知的噪点，从而减少图像分析中的误差，图像储存为Img_smooth；然后，寻找轮廓模块31对图像Img_smooth进行寻找轮廓处理，通过对图像中的白色部分进行寻找边缘，寻找边缘的方法可以为Canny算法或其他算法，并把寻找得到的结果保存为Edge_data[256]，Edge_data[256]中包含了图像中白色部分的轮廓的坐标值。令寻找中心模块32对Edge_data[256]进行分析，首先分析Edge_data[256]中的最大X，Y值和最小X，Y值，得到Xbig，Ybig，Xsmall，Ysmall，则其中心坐标为Xbig-Xsmall，Ybig-Ysmall；然后计算Edge data[256]中每个点与中心坐标的距离，并判断这些距离是否都少于误差值err，如果是则确定物体为球形物体，每个点与坐标的距离的平均值就是这个圆的半径。
最终，信号转换模块4对上述寻找中心模块32所产生的半径数据和中心坐标位置进行转换，输出radius和圆心坐标。
上述对绿色球形物体进行互动控制的采集操作有效的避免了画面中有不需要的绿色对用户输入的影响，从而大大的提供了准确率和可操作性。
在本发明中，以上所说的计算机可以为个人计算机、图像工作站、手提计算机、电视游戏机、便携式游戏机、个人数字助理以及移动电话其中任一种装置。
该摄像头的光学感应器件是CMOS或CCD，接口为USB或AV接口。其中，CMOS芯片的优点是价格低廉，而采用CCD芯片的摄像头的刷新率普遍可以稳定保持在25FPS以上，用户可根据需要加以选择，一般用于家庭捕捉系统的摄像头应选择能达到20FPS以上的刷新率，以确保画面的流畅性，减少滞后。
以上所揭露的仅为本发明的实施例，不能以此来限定本发明之权利要求范围。
权利要求
1.一种基于计算机图像和纯色物体的互动输入控制方法，包括如下步骤(1)进行图像采集；(2)对前述采集的图像进行处理；(3)对前述处理后的图像进行分析判断，并得出判断结果；(4)对前述判断结果进行信号转换，转换为计算机可识别的信号。
2.如权利要求1所述的互动输入控制方法，其特征在于，所述图像采集可通过一个或多个图像输入设备来进行。
3.如权利要求1所述的互动输入控制方法，其特征在于，所采集的图像可包括一个或多个相同或不同颜色的纯色物体。
4.如权利要求3所述的互动输入控制方法，其特征在于，采集画面中的纯色物体可以为非纯色物体的一部分或明显的轮廓。
5.如权利要求1所述的互动输入控制方法，其特征在于，所述对采集的图像进行处理的步骤包括将采集的图像数据中的每一帧进行缩放处理；对缩放后的图像进行色彩过滤处理；对色彩过滤后的图像进行降噪处理；对于用户采用多于一种颜色的纯色物体时，程序重复运行缩放、色彩过滤和降噪处理；对于用户采用多于一种颜色的纯色物体时，程序对经过同样的以上处理的图像进行合并处理。
6.如权利要求1所述的互动输入控制方法，其特征在于，所述对处理后的图像进行分析判断的步骤包括将降噪处理后的图像进行寻找轮廓处理，输出矢量结果；将寻找后得到的矢量结果中的每一部分进行分析，得到宽度和高度以及中心位置。
7.如权利要求1所述的互动输入控制方法，其特征在于，在进行图像分析前，所述方法还包括设置所述图像中需要过滤是多少种纯色的步骤。
8.如权利要求1所述的互动输入控制方法，其特征在于，在进行图像分析前，所述方法还包括设置所述图像中是否对圆形的物体敏感的步骤。
9.一种采用上述权利要求1的基于计算机图像和纯色物体的互动输入控制方法的互动输入控制系统，其特征在于，所述系统包括图像采样模块、图像处理模块、图像分析模块和信号转换模块，该图像采样模块、图像处理模块、图像分析模块和信号转换模块相连接，该图像处理模块对图像采样模块所采集的图像数据进行处理，并传输至图像分析模块进行分析判断，该判断结果由信号转换模块进行信号转换，转换为计算机可识别的信号。
10.如权利9所述的互动输入控制系统，其特征在于，所述图像采样模块可包括一个或多个图像输入设备。
全文摘要
本发明公开了一种基于计算机图像和纯色物体的互动输入控制方法，包括如下步骤进行图像采集；对前述采集的图像进行处理；对前述过滤后的结果进行分析，得到分析结果；对前述分析结果进行信号转换，转换为计算机可识别的信号。其中，在所述信号转换处理后，还包括进行图像合成的步骤。采用该互动输入控制方法的一种基于图像的互动输入控制系统，其包括图像采样模块、图像处理模块、图像分析模块和信号转换模块。本发明基于计算机图像和纯色物体的互动输入控制方法可实现实时、互动、灵活、准确的输入。
文档编号G06T1/00GK1838032SQ20051003548
公开日2006年9月27日 申请日期2005年6月28日 优先权日2005年6月28日
发明者钟煜曦 申请人:钟煜曦