一种操作单元及包括所述操作单元的视频系统的制作方法

专利名称：一种操作单元及包括所述操作单元的视频系统的制作方法
技术领域：
本发明涉及一种操作单元及包括所述操作单元的视频系统。
背景技术：
随着交互式多媒体视频设备的快速发展，视频设备的功能越来越强大，使 得对于视频设备的信息处理系统尤其是控制系统的要求越来越高。对控制系统 及视频设备的响应速度、处理速度及稳定性都提出了越来越多的要求。
中国专利CN200610087120. 5公开了一种控制方法及控制器，该控制器上设 置有成像信息计算部，拍摄并计算成像目标图像中的亮点与定点的图像及坐标 组的二维矢量，最后根据二维矢量的计算值在预定的方向上移动操作单元。该 控制器存在的问题是在控制器的具体实现时必须要采用加速度传感器来检测 控制器的三个轴向方向及确定控制器绕Z轴的旋转角；或采用二轴线性加速度 计仅检测沿着X轴和Y轴中的每一个轴的线性加速度；或采用陀螺传感器。因 为加速度传感器和控制电路有响应延迟，为了保证加速度传感器的灵敏度和精 确度，此时釆用的算法非常复杂，使得信号处理响应速度很慢。而且由于传感 器制造及传感器与控制器的制造工艺的影响，在控制器中，加速度传感器的稳 定性不好，容易发生损坏。即使为了增强系统的稳定性，在工艺上进行改进， 也必须以大量的人力、财力、物力为代价，而且好的加速度传感器价格昂贵， 大大提高了控制器的成本。

发明内容
本发明的一个目的是提供一种信号处理响应速度快的操作单元及包括所述 操作单元的视频系统。
为解决上述问题，本发明采用以下技术方案
第一方面，本发明提供了一种操作单元，控制显示单元，包括
成像装置，用于拍摄成像目标图像；识别装置，用来识別成像目标图像中的成像目标；
计算装置，用来计算来自识别装置输出的识别后的成像目标的位置，并将 所述的位置进行非矢量数学变换，得到操作单元的位置，输出操作单元的位置 信号。
上述计算装置中的非矢量数学变换方式为线性变换或二次变换。 上述线性变换方式为成像目标位置/成像装置分辨率*操作单元可移动宽度 方式或矩阵变换方式。
上述操作单元可移动宽度为显示单元的分辨率。
上述成像目标位置为成像目标的中心位置或成像目标的重心位置。
第二方面，本发明提供了一种视频系统，包括显示单元，还包括
成像装置，用于拍摄成像目标图像；
识别装置，用来识别成像目标图像中的成像目标；
计算装置，用来计算来自识别装置输出的识别后的成像目标的位置，并将 所述的位置进行非矢量数学变换，得到操作单元的位置，输出操作单元的位置 信号；
执行装置，用于接收来自计算装置输出的操作单元位置信号，在所述显示 单元显示所述虚拟操作单元。
上述计算装置中的非矢量数学变换方式为成像目标位置/成像装置分辨率* 操作单元可移动宽度的方式或矩阵变换的方式或二次变换的方式。
上述计算装置还包括
拟合直线计算装置，用来计算成像目标的拟合直线； 角度计算装置，用来计算所述拟合直线与水平的夹角。 上述视频装置还包括
位置变换装置，用来接收计算装置的操作单元位置，并在显示单元中变换 为虚拟操作单元位置。
上述识别装置还包括二值化装置，用来将成像目标图像二值化； 搜索装置，用来将所述的识別后的二值化图像连通搜索，得到连通区域；评分装置，用来计算所述的连通区域拟合直线的距离之和及所述的连通区
域之间位置的比例，得到评分；
确定装置，根据评分装置输出的评分值，确定所述成像目标的位置。 本发明通过对成像目标图像的位置的计算和变换，大大提高了操作单元及 视频系统的信号处理速度及信号响应的速度。以下结合附图对本发明进行详细 说明，本发明的这些及其他目的、特征、方面和优点将变得更加明显。


图1是视频系统实施例1的外部示意图2是视频系统实施例2的外部示意图3是视频系统实施例的内部框图4是识别装置实施例的内部流程框图5是二值化装置实施例的内部流程框图6是比较器实施例的内部流程框图7是计算装置实施例的内部流程框图8是操作单元实施例的外部示意图9是操作单元实施例的内部流程框图IO是控制方法实施例的流程图11^4于图10上的步骤S3实施例的流程图。
具体实施例方式
为了使本技术领域的人员更好地理解本发明方案，并使本发明的上述目的、 特征和优点能够更加明显易懂，下面结合实施例及实施例附图对本发明作进一 步详细的i兌明。
参考图1至3,将说明作为实施本发明视频系统的一个实施例的电视设备遥 控系统。图1、图2是示例电视设备遥控系统的外部视图，包括电视机l、显示 屏2、将操作数据发送给电视机的遥控器4。在显示屏2的附近设置有标志点3， 几个标志点3所组成的标志点组为成^象目标14。标志点3具体为红外LED，发出红外波段的光。为了扩大标志点3所发出的 红外光的可见角度，可以在标志点3上贴^:泛光膜，泛光膜优选为薄毛玻璃。 标志点3可以设置在遥控器4所能拍摄到的任何位置，既可以设置在电视机1 上(如图1所示)，标志点3也可以单独的设置在标志装置5上(如图2所示)。 标志点3为分别分布在位于预定位置和预定对象的顶部和底部的轮廓点，及位 于顶部和底部轮廓点连线上的区分点，且该区分点距顶部和底部的轮廓点的距 离不相等。轮廓点可以根据轮廓点的分布情况分辨出成像目标的轮廓(如形状)。 区分点可以根据该区分点与轮廓点的距离特征，区分出各个轮廓点。轮廓点为2 个及以上，区分点为1个及以上，轮廓点和区分点越多，越能表示成像目标的 即时位置姿态。当成像目标14表示的是一个对称的图象时，为了区分成像目标 的方向，在成像目标14中还设有一个及以上方向点。标志点还可以组成一个多 边形，除方向点外，每一个标志点对应一个多边形的顶点。方向点可以位于某 一个多边形顶点附近。在本实施例的电视系统上，优选的，成像目标14为等间 距的4个标志点。标志点也可以为6、 8、 10个及以上。在所拍的成像目标14 的图像数据中。成像目标14预定的分布特征是从图像上的红外发光点中分辨出 该分布特征，从多个发光点中区分每个点那个是轮廓点、区分点或方向点。
图3是示例电视遥控系统的内部视图，分为两类遥控器端及与遥控器端 对应的电视端。遥控器端包括成像装置6、识别装置7、计算装置8、位置变换 装置9、发射器10;电视端包括成像目标14、接收器ll、位置变换装置9、执 行单元13。成像目标14中的各标志点3发出红外光。
在遥控器处于可操作范围内，成像装置6拍摄成像目标14的图像，并获得 所拍图像的图像数据。
接着该图像进入识别装置7中进行识别所拍图像的图像数据中，会出现 高亮度区域，这些高亮度区域是由我们的成像目标的图像和一些少量的噪声光 斑及其他的荧光灯的光而形成的。可以直接在所拍图像的图像数据中，将作为 高亮度区域出现的成像目标14中的各标志点3图像检测为目标图像的首选者。 基于每个被检测的高亮度区域，因为目标图像具有预定尺寸范围，只需要通过将各个被检测的高亮度区域进行比较，看其是否具有预定尺寸范围内的尺寸， 当高亮度区域具有预定尺寸范围内的尺寸时，该高亮度区域被确定为成像目标 图像，而当高亮度区域具有处于预定尺寸范围之外的尺寸时，高亮度区域被确 定为非成像目标图像。但是在本发明中，为了提高监测和识别的精准度，我们
在识别装置7中设置了二值化装置22，可以将拍摄成像目标图像二值化，将成 像目标14中的各标志点3的图像保留，而将其他的所有背景灰度层次全部抹去。 目前的图像二值化方法很多，有阈值法、边界检测法和区域生长法。都可以应 用于本发明中。在此，以下着重介绍阚值法在本发明中的应用。
如图5、图6所示，首先输入成像目标图像26，再将成像目标图像进入比 较器27内进行比较。
以下为比较器27的具体工作流程将成像目标图像按照象素点分成不同的 区域，此时计算目标对象(即输入比较器的成像目标图像)的象素点图像灰度， 在每一个区域内设有一灰度阈值，使每一个像素的亮度值同灰度阈值进行比较， 高于该灰度阁值，则表示为l，低于该灰度阚值，则表示为0。经过二值化，表 示在成像目标图像中的图片为由0和1表示的数字图像，该数字图像进入寄存 器29保存，并给下一步的工作提供图像数据信息。
为了进一步精确成像目标的最终位置，在识别装置7中还设置了搜索装置 23和评分装置24,如图4所示，将高亮度区域或二值化的数字图像进行连通搜 索，得到独立的连通区域，再计算所述的连通区域拟合直线的距离之和及所述 的连通区域之间位置的比例，得到评分，然后根据评分装置输出的评分值，确 定所述成像目标的最终位置。所述的连通区域也可以是独立的高亮度区域光斑， 也可以是二值化后的成像目标14中的各标志点经过射影变换后(经过摄像机成 像后)形成的光斑。所述射影变换参见几何学中关于射影变换的定理及性质， 在此不作赘述。例如成像目标14中有4个等间距的可发出红外光的标志点3， 计算成像目标14中4个标志点3的拟合直线，并计算每个标志点3到这条拟合 直线的距离之和，以及该4个标志点3之间位置的比例。因为我们的成像目标 是四个等间距的发光点，所以经过射影变换后(经过摄像机成像后)形成的光斑之间也具有四点共线，间距相等的特征，根据该原理设置评分原则，得到
这几个标志点3的一个评分。标志点3到这几个标志点拟合直线的距离之和越 小，比例越接近1，评分越高。对所有的可能的组合(任取4个点)求他们的评
分，评分最高的那组就认为是我们标志点所形成的成像目标。
上述计算4个标志点3的拟合直线的方法可采用求残差的平方和最小法(即 最小二乘法)、求残差的最大绝对值最小法、残差的绝对值之和最小法或其他等， 以最小二乘法为例，构造拟合直线y=a+bx,〗艮设4个标志点的坐标为(^， ^)， ￡=1, 2，……N。 N=l， 2, 3， 4。解以下方程得到a、 b值，得到拟合直线。
其他方式在此不作赘述。
识别装置7输出的识别后的图像信号进入计算装置8进行计算，得到成像 目标14的位置。计算装置8如图7所示，包括如下位置计算装置35,计算识 别装置7输出的识别后的图像信号的位置，然后该位置信号进入数学变换装置 36中进行数学变换。位置计算装置35计算的是成像目标14的重心位置、中心 位置或其他预定位置，可以计算所述预定位置的坐标，也可以计算所述预定位 置到一个设定位置的距离或位移，也可以计算所述预定位置到两个设定位置的 距离比或位移比，具体实施方式
不限。优先为预定位置是重心位置，位置计 算装置35计算的是成像目标14的重心位置的二维坐标。然后该重心位置坐标 信号进入数学变换装置36进行数学变换，得到操作单元的输出位置。
所述数学变换方式很多，在此采用非矢量的数学变换，比如二次变换、 齐次坐标变换、伽利略变换、洛仑兹变换、球面坐标变换、投影矩阵变换、线 性变换等，以上的变换方式都是采用算法变换得到成像目标最终的位置坐标进 而得到最终的控制数据。
如在二次变换中，将预定位置坐标信号的平方直接作为成像目标最终的 输出位置。或在投影矩阵变换中，可以先将成像目标设定在一个观察坐标系中， 定义模型矩阵实现成像目标图像的平移、旋转和缩放。再定义相应的投影矩阵，将成像目标的坐标位置进行投影变换，把成像目标从观察坐标系中转换到投影 坐标系中，再次定义视口矩阵，进行视口变换和裁减，决定成像目标图像的大 小，根据成像目标图像的大小确定成像目标的最终位置坐标。其他变换方式如 齐次坐标变换、伽利略变换、洛仑兹变换、球面坐标变换、投影矩阵变换都对 成像目标的方向、位移、空间等做出精确判断，作为本发明的实施例在此不一 一列举。
在本发明中，优选采用线性变换方式。以下着重介绍线性变换的具体实施
方式即数学变换装置36进行线性变换，得到搡作单元最终的输出位置。
数学变换装置36采用的线性变换方式很多，实施例之一可采用矩阵变换形 式，假定显示空间为线性空间，设定一个基。把成像目标14的重心位置设定为 矩阵，然后通过矩阵线性变换，得到另一矩阵坐标，这个矩阵坐标就是最后操 作单元的位置。这样的方式可以应用于二维虚拟空间也可以应用于三维虚拟空 间，具体应用于三维空间在后面会进行详细的描述。在此我们介绍另一方式， 数学变换装置36采用成像目标位置/成像装置分辨率*操作单元可移动宽度变换 方式。其中操作单元可移动宽度一般设置为显示单元的分辨率。如实施例当 成像装置6如摄像机的分辨率为320 x 240，通过位置计算装置35输出的重心坐 标位置为(100.3,300.2 ),假定电视显示屏幕上虚拟操作单元移动的区域是宽 度为(1024 x 768 )的图像区域，则经过线性变换得到的操作单元位置是 (100.3/320*1024， 300.2/240*768 )。这样的方式可以应用于二维虚拟空间也 可以应用于三维虚拟空间，具体应用于三维虚拟空间在后面会进行详细的描述。 这才羊的方式和其他方式相比具有很多优势1、这种方式大大减少了运算的复杂 度，使得计算响应速度加快。2、很容易在产品中实现，尤其是在传统控制设备 中，只需要增加新的算法就可以实现。优选在电视机遥控系统里，实现最为容 易，而且不需要另外加置新的装置就可以实现。本方式可以把在本控制系统里
的所有特殊情况都能覆盖到。
进入位置变换装置9,位置变换装置9用来接收计算装置的操作单元位置，
并变换为虛拟操作单元位置，所述变换方式采用在一显示区域里，设置和成像目标位置一致的虚拟操作单元位置，并进行射影变换的方式，输出虛拟操作单
元位置。其具体实现以下功能
1、 根据所述计算装置输出的操作单元的位置移动操作单元。也可以根据所 述计算装置输出的操作单元的位置在预定方向上移动操作单元。所述"预定方 向"可以是操作者预定的方向或可变的确定方向，也可以是依赖于显示界面显
示的固定的预定方向或可变的确定方向，例如操作单元可被设置成操作者指 定的位置移动。其具体实施方式
不限。
2、 位置变换装置9根据电视显示屏的大小设定一个象素点为初始位置(0， 0 )，这个初始位置和成像装置拍摄成像目标的重心位置的初始位置是一致的， 在该象素点上显示的虚拟操作单元位置和成像目标位置是一致的。所述的一致 关系指的是 一一对应关系、或一对多关系、或多对一关系。取决于显示单元 如电视显示屏的象素和摄像机的分辨率。当电视显示屏上的象素点和摄像机的 分辨率一样时，所述虚拟操作单元的位置和成像目标的重心位置是——对应的； 当电视显示屏上的象素点大于摄像机的分辨率，所述虚拟操作单元的位置和成 像目标的重心位置是多对一的关系；当电视显示屏上的象素点小于摄像机的分 辨率，所述虚拟操作单元的位置和成像目标的重心位置是一对多的关系。优选 为一对一关系。
当位置变换装置9接收从计算装置8输出操作单元的最终位置坐标数据时， 通过射影变换，得到虚拟操作单元在电视显示屏上的象素点位置，并将该象素 点位置发送给电视显示装置。
与遥控器端对应的电视端包括接收器11、执行单元13。接收器11接收来 自遥控器4发射的操作单元位置遥控指令，传送给执行单元13，执行单元13将 虚拟操作单元显示在电视显示屏上。
位置变换装置9的具体功能实现既可以在遥控器中实现，也可以在电视机 中实现。优选在电视机中通过设置位置变换装置9来实现。
当遥控器的位置移动的时候，电视机一直接收操作单元的位置坐标数据， 当接收器11接收来自遥控器4发射的操作单元位置遥控指令，并传给位置变换装置9时，由位置变换装置9通过射影变换的方式得到虚拟操作单元在电视显 示屏上的位置，并通过执行单元13显示到电视显示屏上。当遥控器的位置移动 的时候，电视机一直接收操作单元的位置坐标数据，通过位置变换装置9的工 作，得到虚拟操作单元在电视显示界面上的位置，该虚拟操作单元随着遥控器 的位置移动而移动。
操作单元实际是一种位置信号。可以是三维信号、二维信号或其他高维信 号。操作单元是遥控器位置变化的数字表现，遥控器是^l喿作单元的一种实物表 现，操作单元的实物表现还可以是手机、游戏操作手柄或其他控制设备。操作 单元表现在电视显示屏上的可见形式为虚拟操作单元，虛拟操作单元的表现形 式可以多种多样，根据显示屏的虛拟空间形式自由确定，虛拟操作单元表示在 电视显示屏上的形式可以是光标形式，也可以是抓手形状，也可以是可爱的卡 通形象或其他人们喜爰的形式，如笑脸、苹果、宝石、宝剑等等。
在电视显示的虛拟空间中，寄存于电视系统内部的丰富多彩的多媒体界面 和选项图标，可以由虚拟操作单元通过菜单设定来选择，在虚拟操作单元接收 到移动指令后，选择选项图标。实现预定功能。
随着信息网络技术的发展，视频控制设备将具有越来越多的功能。本发明 可以使用户操作操作设备时，例如操作遥控器时，在电视显示屏显示的虛拟世 界中完成自己虚拟化身的虚拟生活，如生活、学习、工作、賺钱、消费等等。 这样就要求虚拟操作单元会随着用户的身体动作或遥控器的转动而变化，例如 虚拟化身在虚拟的网球赛场上进行网球比赛时，虚拟化身手中的网球拍为虚拟 操作单元，虚拟操作单元的方向变化就随着用户手中的遥控器的方向转动而变 化。本发明在计算装置中采用的线性变换就很好的实现了上述功能。如实施例 之一，线性变换装置27采用矩阵变换形式，假定显示空间为线性空间，设定一 个基。把成像目标14中的各标志点的预定位置设定为矩阵，然后通过矩阵线性 变换，得到另一矩阵坐标，这个矩阵坐标就是最后虚拟操作单元的位置。在三 维空间中，可以设定为柱形坐标系或xyz坐标，正负可以代表方向。根据矩阵 坐标的位置计算其和水平线、垂直线的夹角及方向，得到虚拟操作单元的空间运动位移。实施例之二，线性变换装置27采用成像目标重心位置/成像装置分 辨率*操作单元可移动宽度的变换方式。 一般操作单元可移动宽度设置为显示单
元的分辨率。当成像装置6如摄像机的分辨率为320 x 240,通过位置计算装置 35输出的重心坐标位置为(100.3,300.2 ),假定电视显示屏幕上虚拟操作单元 移动的区域是宽度为(1024 x 768)的图像区域，则经过线性变换得到的操作单 元位置是(100.3/320*1024, 300.2/240*768)。此时由于已经得到了成<象目标 中各标志点3的位置，可以求得由这几个标志点拟合出的直线。该求得拟合直 线的方式可以釆用最小二乘法或求残差的最大绝对值最小法、残差的绝对值之 和最小法等，以最小二乘法为例，构造拟合直线y=a+bx，假设4个标志点的坐 标为(W， W)， i=l, 2, ......N。 N=l, 2， 3， 4。解以下方程得到a、 b值，得到
拟合直线。
然后设定一个水平线，求得这个拟合直线与水平线的夹角，该夹角，就是 控制操作单元如遥控器移动的空间方向。拟合直线与水平线的距离为操作单元 的位移。该夹角和位移可以通过位置变换装置9发出指令，使虚拟操作单元在 预定方向上移动。该夹角随着我们手持的遥控器的转动而变化。
或已得知成像目标中各标志点3的位置，使用多点共面的位置估计方法进 行计算或根据平面结构在仿射变换中的对应关系进行计算，得到遥控器4的指 向方向，具体计算和实现方式参照现有计算公式，在此不——赘述。
由上可知，在计算装置8中采用了数学变换装置28这样的计算方式带来了 很大的优势1、这种方式大大减少了运算的复杂度，加快了控制系统及视频设 备的响应速度。2、这种方式不仅可以二维虚拟空间中有巨大的优势，且在三维 虚拟空间中的优势更是明显。尤其这种方式不需要像现有的控制设备如游戏遥 控器，必须内部设置加速度感应器才能实现对虚拟操作单元方向和位移的控制， 而直接通过线性变换这样的算法及设置坐标系来实现对虚拟操作单元方向和位 移的控制，不仅大大节省了控制单元的成本，而且实现方便。例如采用了本发明的遥控器，其成本不仅大大节省，而且可以直接在传统的遥控器基础上直接 进行改进。不需要像现在某些遥控器生产线，为了满足其技术要求，而要花费 人力、财力、物力设计新型的遥控器结构及内部工艺。3、可靠性强。由于这种 方式可釆用算法写入形式，而现在的内部设置加速度感应器的技术会存在结构、 工艺等多方面因素。相较而言本发明的可靠性更强。
以下着重介绍本发明的一种操作单元如遥控器4，图8和图9是本发明的一 个实施例的遥控器的实例。如图8至图9所示，遥控器4上有一些常用按键， 遥控器4上还设置有成像装置6,成像装置6可以为摄像机、数码相机或其他点 阵式照相机。成像装置6优选为CCD摄像头。CCD摄像头外部设置有红外截止滤 光片，该红外截止滤光片为截止频率为760nm-960nm的带通滤光片，也就是说， 只有波长在760nm-960nm范围内的光才能通过该滤光片。这个频率范围属于近 红外区，大多数可见光都能被4艮好的过滤掉，可以增强成像装置6的稳定性和 可靠性。当遥控器4的摄像头拍摄成像目标时，其它的可见光被红外截止滤光 片很好的过滤掉，成像目标的标志点3发出的红外光很好的被摄像头捕捉拍摄 形成成像目标图像。优选的，成像目标14为等间距的4个标志点3。标志点3 每个均以视角ei辐射红外光，成像装置6以视角e2来接收入射在其上的光。 操作者抓持遥控器4,在成像装置6的视角62内存在成像目标的各标志点3， 且遥控器4存在于成像目标的各标志点的视角ei内，使得遥控器4的成像装置 6可以接收来自成像目标的标志点3的红外光。在这个范围内改变遥控器4的位 置和方向，都可以遥控视频设备尤其是电视机。当遥控器4的位置和方向超出 所述角度和位置范围，就不能执行遥控器4的操作。因为在计算装置中采用了 上述的数学变换尤其是采用了线性变换这样的方式，使得成像装置6的视角62 内可以存在成像目标中各标志点的各种视角，所以不需要主动调节摄像头的焦 距。摄像头会根据成像目标的距离自动调节焦距，并在视频显示装置上显示当 前操作单元的位置。当然为了提高整个控制系统的精确性和稳定性，也可以在 遥控器4上设置有一个功能按键，用来辅助调节摄像头的焦距。还可以根据操 作者的需要，调节遥控器和电视系统虛拟空间的虛拟距离。遥控器4还包括识别装置7、计算装置8、位置变换装置9，都是由处理电 路实现的。当成像目标图像进入识别装置7时，先进入识别装置7中的二值化 装置22二值化。所采用的二值化方法采用阈值法二值化，首先将成像目标图像 进入比较器内进行比较。比较器27包括计算目标对象图像灰度30、阚值设置 31、与阈值进行比较32和输出设置33。比较器27的具体工作流程将成像目 标图像按照象素点分成不同的区域，此时计算目标对象(即输入比较器的成像 目标图像)的象素点图像灰度，在每一个区域内设有一灰度阈值。使每一个像 素的亮度值同灰度阈值进行比较，高于该灰度阈值，则表示为l,低于该灰度阈 值，则表示为0。比如图像的灰度值一般为0~ 255，设定灰度阈值为100,像 素的亮度值〉100,则将该像素点标示为1，像素的亮度值〈100,则将该像素点 标示为0。
经过二值化，表示在成像目标图像中的图片为由Q和1表示的数字图像， 该数字图像进入寄存器保存。之后二值化的图像再进入搜索装置23将所述的二 值化的图像进行连通搜索，得到独立的连通区域，再进入评分装置24计算所述 的连通区域拟合直线的距离之和及所述的连通区域之间位置的比例，得到评分， 最后根据评分装置24输出的评分值，确定成像目标的最终位置。然后成像目标 的最终位置信号进入计算装置8计算成像目标的重心位置坐标，并将所述的重 心位置坐标进行重心位置/成像装置分辨率*操作单元可移动宽度的方式进行线 性变换，输出操作单元的位置坐标。然后该操作单元的位置坐标信号进入位置 变换装置9，位置变换装置9用来接收计算装置的操作单元位置，并变换为虚拟 操作单元位置，所述变换方式采用在一显示区域里，设置和成像目标位置一致 的虚拟操作单元位置，并进行射影变换的方式，输出虚拟操作单元位置。其具 体实现为位置变换装置9根据电^L显示屏的大小设定一个象素点为初始位置 (0， 0)，这个初始位置和成像装置拍摄成像目标的重心位置的初始位置是一致 的，在该象素点上显示的虚拟操作单元位置和成像目标位置是一致的。所述的 一致关系指的是 一一对应关系、或一对多关系、或多对一关系。取决于显示 屏的象素和摄像机的分辨率。当电视显示屏上的象素点和摄像机的分辨率一样时，所述虛拟操作单元的位置和成像目标的重心位置是——对应的当电4见显 示屏上的象素点大于摄像机的分辨率，所述虛拟操作单元的位置和成像目标的
重心位置是多对一的关系；当电视显示屏上的象素点小于摄像机的分辨率，所
述虚拟操作单元的位置和成像目标的重心位置是一对多的关系。优选为一对一
关系。当位置变换装置9接收从计算装置8输出操作单元的最终位置坐标数据 时，通过射影变换，得到虚拟操作单元在电视显示屏上的象素点位置，并通过 红外发送装置16或射频发送装置发送给视频显示装置。
在遥控器4上有一个确定键15，当内部处理电路完成以上功能时，按下确 定键15，将该确定信号通过红外发送装置16发送给电视机，完成遥控功能。本 发明的实施例遥控器由于在其计算装置中采用了线性变换装置，大大减少了运 算的复杂度，加快了遥控器的信号响应速度。大大增强了遥控系统的稳定性和 可靠性。本遥控器在完成各项操作功能时，其上面的按键也大大简化。 一个确 定键15就可以实现目前普通遥控器10个及以上的功能按键所实现的功能。大 大减轻操作者的负担。而且该遥控器随着功能按键的筒化，其在外观及结构上 的设计也可以实现最优化，变得更加精致和实用。
遥控器上还设有方向导航键，即可以完成普通电视上虚拟操作单元的随意 方向移动，还可以完成虚拟空间中的方向导航功能。这个方向导航键的具体实 现方式是因为遥控器内部的计算装置还设有拟合直线计算装置，用来计算成像 目标的拟合直线，以及角度计算装置，用来计算所述拟合直线与水平的夹角。 当已经确定了成像目标中各标志点的位置，通过计算成像目标各标志点拟合的 直线与水平的夹角，该夹角就是虛拟操作单元在虛拟世界的方向，该夹角随着 操作者手中的遥控器的转动而变化。通过计算装置的计算，这样虚拟操作单元 在虚拟空间中的位移和方向就确定了。在虚拟世界中，4喿作者所设定的虚拟形 象面对一个固定可选择项目的项目图像时，方向导航键自动切换为正面对的可 选择项目的项目图像。如，当虛拟形象想进入虚拟电影院时，方向导航键可以 根据遥控器的即时位置，自动将电影院切正为虚拟形象正面面对的场景，虛拟 形象进入电影院后，通过遥控器对设定项目的选择，完成任务选择。进一步增强了遥控器的功能。
基于以上控制原理，我们提出了一种控制方法，图10至图11是本发明控 制方法的一个实施例的电视机遥控方法的实例。
该电视机遥控方法利用遥控器来控制电视机显示屏，遥控方法包括以下步
骤
Sl设置成像目标；将该成像目标14设置在遥控器4所能拍摄的范围内，优 选的，将成像目标14设置在电视机上，优选的成像目标14为4个等距离直线 排列的标志点3。
S2利用操作单元拍摄成像目标图像；操作单元在此为遥控器4,遥控器4 上设置的CCD摄像头捕捉拍摄成像目标的即时图像，为了增强拍摄的图像效果， 在CCD摄像头的外部设有红外截止滤光片，用来将其它可见光过滤掉。
S3对成像目标图像中的成像目标进行识别；S3还包括以下步骤
S31对成像目标图像二值化；优选的二值化方法是阈值法二值化，具体的工 作原理和实现步骤见前述，在此不作赘述。
S 32对二值化的图像进行连通搜索，得到连通区域；
S33计算所述的连通区域拟合直线的距离之和及所述的连通区域之间位置 的比例，得到评分；优选的，拟合直线的计算方法采用最小二乘法。例如计 算成像目标中每个标志点3的拟合直线，并计算每个标志点3到这条拟合直线 的距离之和，以及所述每个标志点3之间位置的比例，得到这几个标志点3的 一个评分。
S 34才艮据评分值确定所述成像目标的最终位置。
S4计算识别后的成像目标的位置，并将所述的位置执行成像目标位置/成像 装置分辨率*操作单元可移动宽度的线性变换，变换后的位置设定为操作单元的 位置，输出操作单元的位置；在S4中还包括以下步骤
S42计算成像目标拟合直线。该步骤应用广泛，可以在步骤S33之前计算 好连通区域的拟合直线，也可以应用在三维空间中操作操作单元的位移和方向 时，计算识别后的成像目标的最终位置的拟合直线。S43计算所述拟合直线与水平的夹角。通过该步骤，可以将这个夹角作为操 作单元移动的方向。
在步骤S4之后的步骤如下
S41将操作单元位置信号变换为虚拟操作单元位置，所述变换方式采用在电 视显示屏上，设置和成像目标位置一致的虛拟操作单元位置，并进行射影变换 的方式，输出虚拟操作单元位置。
在步骤S4中的操作单元可移动宽度为虚拟操作单元可移动宽度。 S5显示单元接收并显示操作单元的位置信号。当接收到来自步骤S41的虚 拟操作单元位置信号时，在电视显示屏上显示虚拟操作单元。
以上所述，仅为本发明的具体实施方式
，本发明还可以应用在其它视频控 制设备中，如电脑系统、人机游戏系统、投影系统、IPTV( Interactive personal TV及Interactive Protocol TV )、手机系统等。本发明的保护范围并不局限 于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想 到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范 围应该以权利要求所界定的保护范围为准。
权利要求
1、一种操作单元，控制显示单元，包括成像装置，用于拍摄成像目标图像；识别装置，用来识别成像目标图像中的成像目标；计算装置，用来计算来自识别装置输出的识别后的成像目标的位置，并将所述的位置进行非矢量数学变换，得到操作单元的位置，输出操作单元的位置信号。
2、 根据权利要求1所述的操作单元，其特征在于所述计算装置中的非矢 量数学变换方式为线性变换或二次变换。
3、 根据权利要求2所述的操作单元，其特征在于所述线性变换方式为成 像目标位置/成像装置分辨率*操作单元可移动宽度方式或矩阵变换方式。
4、 根据权利要求3所述的操作单元，其特征在于所述操作单元可移动宽 度为显示单元的分辨率。
5、 根据权利要求3或4任一所述的操作单元，其特征在于所述成像目标 位置为成像目标的中心位置或成像目标的重心位置。
6、 一种视频系统，包括显示单元，还包括 成像装置，用于拍摄成像目标图像； 识别装置，用来识别成像目标图像中的成像目标；计算装置，用来计算来自识别装置输出的识别后的成像目标的位置，并将所 述的位置进行非矢量数学变换，得到操作单元的位置，输出操作单元的位置信号；执行装置，用于接收来自计算装置输出的操作单元位置信号，在所述显示单 元显示所述虚拟纟喿作单元。
7、 根据权利要求6所述的视频系统，其特征在于所述计算装置中的非矢 量数学变换方式为成像目标位置/成像装置分辨率*操作单元可移动宽度的方式 或矩阵变换的方式或二次变换的方式。
8、 根据权利要求7所述的视频系统，其特征在于所述计算装置还包括 拟合直线计算装置，用来计算成像目标的拟合直线；角度计算装置，用来计算所述拟合直线与水平的夹角。
9、 根据权利要求6至8任一所述的视频系统，其特征在于所述视频装置还包括位置变换装置，用来接收计算装置的操作单元位置，并在显示单元中变换为 虚拟'操作单元位置。
10、根据权利要求6至8任一所述的视频系统，其特征在于所述识别装置 还包括二值化装置，用来将成像目标图像二值化；搜索装置，用来将所述的识别后的二值化图像连通搜索，得到连通区域； 评分装置，用来计算所述的连通区域拟合直线的距离之和及所述的连通区域之间位置的比例，得到评分；确定装置，根据评分装置输出的评分值，确定所述成像目标的位置。
全文摘要
本发明公开了一种操作单元及包括所述操作单元的视频系统，其操作单元包括成像装置，用于拍摄成像目标图像；识别装置，用来识别成像目标图像中的成像目标；计算装置，用来计算来自识别装置输出的识别后的成像目标的位置坐标，并将所述的位置坐标进行数学变换，输出操作单元的位置。
文档编号G06K9/00GK101281590SQ20081001362
公开日2008年10月8日 申请日期2008年1月3日 优先权日2008年1月3日
发明者刘卫东, 翁冬冬, 亮 马 申请人:青岛海信电器股份有限公司