专利名称：多目标处理装置及终端的制作方法
技术领域：
本实用新型涉及数字电视，尤其涉及一种多目标处理装置及终端。
背景技术：
随着科技的发展，数字电视越来越普及，也越来越脱离当前普通电视的含义。在信 息技术与媒体技术的背景下，数字电视系统越来越成为电视机与PC机的结合体，发展为一 种使观众通过遥控器或无线键盘与电视节目进行互动的系统，最终将重塑我们生活、工作 和娱乐的方式。数字电视作为出售给消费者的一种产品和服务，是包括电信网络、高科技和娱乐 等多种产业的汇聚。同时，它具有跨行业的特征，它不仅用于数字电视、游戏娱乐，而且还可 以与互联网沟通以实现种种信息和多媒体的综合服务。因此它所使用的终端遥控器也应该 同时兼具遥控和鼠标等多重功能。发明人在实现本实用新型的过程中发现，目前兼具遥控和鼠标等多重功能的遥控 器在使用过程中，接收端只能处理一个目标，即判断并在屏幕上显示一个鼠标箭头，对于多 用户同时操作的应用环境，例如协同处理，多用户游戏等等，目前的接收端并没有很好的解 决方法。
实用新型内容本实用新型提供一种多目标处理装置及终端，以处理多个运动目标，实现多用户 同时操作的应用，并准确快速的定位。一方面，本实用新型实施例提供一种多目标处理装置，所述装置包括发光体，用于发射光线，以便遥控器上的反光体反射所述光线；至少两个图像采集单元，每一个图像采集单元用于获取以反光体作为标志物的遥 控器的连续图像信息；聚类及滤波单元，用于根据每一个图像采集单元获取到的所述连续图像信息，确 认每一个图像采集单元获取到的所述连续图像中每帧图像的有效目标，并计算每个有效目 标的重心；多目标分离单元，用于根据每一个图像采集单元获取到的所述连续图像中每帧图 像的有效目标的重心坐标，确认所述有效目标的移动轨迹；交叉判别单元，用于根据每一个图像采集单元获取到的所述连续图像中每帧图像 的有效目标的重心坐标，确认有效目标的实际重心坐标；光标偏移控制单元，用于根据所述有效目标的实际重心坐标和所述有效目标的移 动轨迹，计算所述有效目标的屏幕显示坐标，获得与所述有效目标的移动轨迹相对应的屏 幕显示坐标的移动轨迹。另一方面，本实用新型实施例还提供一种终端，所述终端包括终端本体、前述的 多目标处理装置以及遥控器。[0014]通过本实用新型实施例提供的多目标处理装置及终端，可以处理多个运动目标， 实现多用户同时操作的应用，并准确快速的定位。
此处所说明的附图用来提供对本实用新型的进一步理解，构成本申请的一部分， 并不构成对本实用新型的限定。在附图中图1为本实用新型实施例的多目标处理装置的组成框图；图2为本实用新型实施例的终端的组成框图；图3为本实用新型实施例的终端的应用示意图。
具体实施方式
为使本实用新型实施例的目的、技术方案和优点更加清楚明白，下面结合实施例 和附图，对本实用新型实施例做进一步详细说明。在此，本实用新型的示意性实施例及其说 明用于解释本实用新型，但并不作为对本实用新型的限定。图1为本实用新型实施例提供的一种多目标处理装置的组成框图，请参照图1，该 装置包括发光体11、至少两个图像采集单元12、聚类及滤波单元13、多目标分离单元14、 交叉判别单元15以及光标偏移控制单元16，其中发光体11用于发射光线，以便遥控器上的反光体可以反射该光线，以便于本实施 例的图像采集单元12可以获取以该遥控器上的反光体作为标志物的遥控器的连续图像信 肩、ο在本实施例中，发光体11可以是红外发光体，以发射红外光；可以是激光发光体， 以发射激光；也可以是可见光发光体，以发射可见光，本实施例并不以此作为限制。在本实施例中，发光体11可以设置于方便遥控器上的反光体反光的位置，例如设 置于承载本实施例的多目标处理装置的终端的显示屏幕四周，或者设置于图像采集单元12 的四周，本实施例并不以此作为限制。每一个图像采集单元12用于获取以反光体作为标志物的遥控器的连续图像信 肩、ο在本实施例中，该图像采集单元11可以是摄像头，以通过拍摄的方式获取遥控器 的图像，以获取其连续图像信息。其可以通过现有的任何摄像头芯片，例如Mage-Sensor来 实现。在本实施例中，遥控器可以是一个或者多个。该遥控器作为运动目标，设置有反光 体，以便摄像头根据反射了光线的反光体的运动轨迹获知遥控器的运动轨迹，并据此确认 有效目标。其中，反光体由反光材料制成，无需任何电源，且可以根据需要做成各种形状，满 足3D动作模式。其中，连续图像信息是指摄像头在预定时间内拍摄到的一组图像，例如1秒中拍 摄30帧图像。在本实施例中，由于设置不止一个摄像头，而每一个摄像头都会采集遥控器的连 续图像信息，因此，对应每一个摄像头，会获得一组遥控器的连续图像信息。聚类及滤波单元13用于根据每一个图像采集单元获取到的所述连续图像信息，确认每一个图像采集单元获取到的所述连续图像中每帧图像的有效目标，并计算每个有效 目标的重心。在本实施例中，由于摄像头拍摄到的图像中可能存在多个目标，例如除了遥控器 上的反光体反射出的光线形成的目标以外，还可能具有其他静止或运动目标，例如阳光、固 定的射灯发出的光、摇晃的灯光灯等等光源发出的光线形成的目标，该聚类及滤波单元13 用于根据每一个摄像头拍摄的连续图像，判断每一个有效目标的存在。在本实施例中，对应每一个图像采集单元12采集到的连续图像信息，聚类及滤波 单元13都要确认该连续图像中每帧图像的有效目标，并计算每个有效目标的重心，因此， 经过聚类及滤波单元13处理之后，得到对应每一个图像采集单元12的一组连续图像中每 帧图像的有效目标的重心。根据本实施例的一个实施方式，该聚类及滤波单元13包括聚类处理模块131、运 动检测模块132、消噪模块133以及计算模块134，其中聚类处理模块131用于根据每一个图像采集单元12获取到的所述连续图像信息， 对具有相同特征的目标进行合并，获得所述连续图像中每帧图像的多个目标。其中，本实施例在进行目标判断过程中进行聚类处理，是为了减少图像目标的数 目，一方面，对太多目标的处理占用一部分资源；另一方面，图像中具有相同特征的不同目 标可能本身就只是一个光源反馈的。本实施例通过聚类处理模块对摄像头拍摄到的连续图 像进行聚类算法处理，将相同特性的像素融合成一体，减少图像中目标的数目。其中，经典 的聚类算法有基于分水岭和模糊C均值聚类、基于K-Means聚类等等。在本实施方式中，通过聚类处理，将很多散点噪声融合到一起，间接的起到了消噪 的目的，因此，该聚类处理模块131还可以去掉大面积干扰噪声或者静止背景。运动检测模块132用于从所述多个目标中找出运动目标。在本实施例中，确定了存在的目标之后，还可以根据运动检测来判断每个目标是 静止的还是运动的，从中找出运动目标，以便计算每个运动目标的重心。其中，运动检测可采用经典算法，即相邻帧的每个像素差如果大于一个阈值，且当 前帧的这个像素处在消噪后的平坦背景中，则认为此像素为运动像素。在本实施例中，由于 已经经过聚类算法，每帧图像中被聚类成多个目标，则运动检测是基于相邻帧目标的，而不 是基于像素的。消噪模块133用于对所述运动目标进行滤波处理，以确认每一个图像采集单元获 取到的所述连续图像中每帧图像的有效目标。在本实施例中，如果图像采集单元12是用于采集以反光体作为标志物的多个遥 控器的图像信息，则在本实施例中，该消噪模块133可以确认多个有效目标。其中，一个有 效目标对应一个遥控器。在本实施例中，在摄像头采集图像时由于电路、电磁等干扰会引入各种噪声，例如 高斯白噪声，其特点是随机性以及弱光强性，噪声会给处理多目标带来干扰，所以本实施例 通过消噪模块133根据连续多帧图像信息来进行滤波，选用不同的滤波模型以滤除掉相应 的噪声。其中，消噪模块133可以采用经典的帧间滤波模型，例如平均值滤波、高斯低通滤 波等等，例如，若N个连续帧中，同一目标的重心坐标为ρ (i)，相邻重心坐标差的绝对值为 A⑴，A(in) = |p(in)-p(in-l) |，若连续N帧的A(i)的均方差小于一个阈值，则认为是高
5斯噪声。计算模块134，用于计算所述有效目标的重心。多目标分离单元14用于根据每一个图像采集单元获取到的所述连续图像中每帧 图像的有效目标的重心坐标，确认所述有效目标的移动轨迹。本实施例的多目标分离单元14利用所记录的每一个图像采集单元12采集到的 连续多帧图像运动目标的重心坐标，来判断当前帧图像多个运动目标所属的运动轨迹。举 例说明两个反光体a，b各自运动，对于任意一个图像采集单元12采集到的连续多帧图像 中的运动目标，每帧都会记录两个运动目标的重心坐标A (η)，B (η)，则肯定会有两条轨迹 TA (η)，TB (η)，每帧都会判断出A (η)属于TA (η)，B (η)属于TB (η)。在本实施例中，该多目标分离单元14是用于将每个运动物体根据轨迹来自动判 断应该归属于哪个运动目标，也即，对于每个运动物体，多目标分离单元14会根据其各自 轨迹来自动判断其归属于已知的哪个目标。在本实施例中，由于不同目标其运动轨迹各不相同，本实施例的多目标分离单元 14根据每个运动物体的运动轨迹来自动判断当前帧的有效目标的重心坐标应该归属于哪 个目标，例如，当前帧的第i条轨迹T (n，i)，其在当前帧中运动坐标预测值Pre (n，i)= 2*T(n-l，i)-T(n-2, i)，如果Pre(n，i)和当前帧的某个目标的重心坐标C(n)的差的绝对 值小于一个阈值，则认为这个目标属于第i条轨迹，以此类推，可以计算出当前帧的所有目 标属于哪个轨迹。其中，运动轨迹的检测可以利用速度、加速度，或者分别利用目标重心(X， Y)的运动矢量等等，需要注意的是，当目标越多，其运动轨迹检测的正确性越低，因为各目 标运动轨迹间存在相似干扰，为解决此问题，可采用概率校验的模型来检测正确度进行相 应匹配，在此不再赘述。在本实施例中，还可以根据每个目标的宽、高以及面积再次检验上述判断是否正 确。例如，首先利用光流法和卡尔曼滤波模型，用最小均方差为估计准则来检验，然后用宽 高及面积来校验，因为发光体大小固定的情况下，其在摄像头成像宽高大小都可以设定成 阈值来加以限制。需要注意的是，如果用户前后移动遥控器，其反映到图像上的运动目标的 宽高面积也会发生改变，为解决这个问题，可以采用多个摄像头，用3D方法计算出每个目 标距离屏幕的距离以及角度等来进行区分，在此不再赘述。交叉判别单元15用于根据每一个图像采集单元获取到的所述连续图像中每帧图 像的有效目标的重心坐标，确认有效目标的实际重心坐标。在本实施例中，由于设置了至少两个图像采集单元12，对于每一个图像采集单元 采集到的连续图像信息，都会经过聚类及滤波单元13、多目标分离单元14的处理，经过上 述处理后，得到对应每一个图像采集单元12的有效目标的重心坐标，本实施例的交叉判别 单元15即将根据每一个图像采集单元12采集的连续图像信息获得的有效目标的重心坐 标，来确认有效目标的真实坐标。根据本实施例的一个实施方式，交叉判别单元15针对一个接收端在多个摄像头 (通常为2个)的中心坐标的关系来判断当前运动物体，也即有效目标的真实坐标。设P(i， χ)和P(i，y)为第i个摄像头采集到的运动物体的中心坐标，其中，i = 1,2, ...N。P(i， xk)和P(i，yk)为此中心坐标的第k帧数据，P(i，xpred)和P(i，ypral)为此中心坐标对应的预 测值，则 P (i，Xpred) = (3. 0*Ρ (1，χ) -3. 5*Ρ (2，χ) +2*Ρ (3，χ) _0· 5*Ρ (4，χ))，同理，P (i，ypred)=(3.0*P(l，y)-3.5*P(2，y)+2*P(3，y)-0.5*P(4，y))。取 P(i, x)-P(i, xpred) | 值最小的 第i个摄像头对应的重心坐标为当前帧的X坐标，|P(i，y)-P(i, ypred) I值最小的第i个摄 像头对应的重心坐标为当前帧的Y坐标，其中，i = 1，2，…N。这样，即可获得该运动物体 的真实坐标。光标偏移控制单元16用于根据所述有效目标的实际重心坐标和所述有效目标的 移动轨迹，计算所述有效目标的屏幕显示坐标，获得与所述有效目标的移动轨迹相对应的 屏幕显示坐标的移动轨迹。在本实施例中，该光标偏移控制单元16用于计算每个运动物体在当前帧的屏 幕显示坐标以输出到终端的屏幕，从而分别控制屏幕上多个光标的移动。例如，假设相 邻两帧的每个运动目标的真实重心坐标为T(n)，T(n-l)，则当前帧坐标的帧差为d(n)= T (η) -T (η-1)，接收端会记录下上一帧屏幕鼠标箭头的坐标M (η)，则当前帧屏幕鼠标箭头的 显示坐标为M (n) +d(n)。根据本实施例的一个实施方式，该多目标处理装置还可以包括输出单元17，用于将所述有效目标的屏幕显示坐标输出到终端，通过所述终端加 以显不。在本实施例中，该输出单元17可以通过有线或者无线的方式将上述坐标传输到 终端主机，从而控制终端屏幕上的多个光标的移动。本实施例的多目标处理装置，可以处理多个运动目标，实现多用户同时操作的应 用，并准确快速的定位。图2为本实用新型实施例提供的一种终端的组成框图，请参照图2，该终端除了包 括终端本体21以外，还包括前述的多目标处理装置22以及遥控器23，其中终端本体21为现有的终端的组成，这里的终端可以是个人计算机、数字电视、或 模拟电视，例如如果终端为个人计算机，则终端本体21为现有的计算机主机以及显示器； 如果终端为数字电视，则终端本体21为现有的数字电视机；如果终端为模拟电视，则终端 本体21为现有的机顶盒和模拟电视机。多目标处理装置22已经在前述实施例中作了详细说明，在此不再赘述。遥控器23用于通过反光体向多目标处理装置22反射光线，以通过多目标处理装 置22对以该反光体作为标志物的遥控器的移动轨迹的判断和处理，控制终端本体21的光 标的移动。其中，遥控器23可以是一个或者多个。根据本实施例的一个实施方式，该遥控器23主要包括反光体，用于反射设置于终端本体21侧或者多目标处理装置22侧的发光体发射 出来的光线。在本实施例中，该反光体由反光材料制成，无需任何电源，且可以根据需要做成各 种形状，满足3D动作模式。根据本实施例的另外一个实施方式，该遥控器23还可以包括基本按键部，用于发送基本按键的按键码流信息；其中，该基本按键部的基本按键包括了数字键、功能键、快捷键等，在功能与现有 遥控器的基本按键的功能相同，在此不再赘述。[0068]鼠标按键部，用于发送鼠标按键的按键码流信息；其中，该鼠标按键部的鼠标按键包括了鼠标左键、鼠标右键、鼠标速度调节键等， 其功能也与现有鼠标的各按键的功能相同，在此不再赘述。至少一个无线或红外发射单元，用于将所述基本按键的按键码流信息和/或所述 鼠标按键的按键码流信息发送到所述多目标处理装置。其中，这里的无线或红外发射单元是用于将基本按键部的按键码流信息和/或鼠 标按键部的按键码流信息发送到多目标处理装置22，因此，根据本实施例的一个实施方式， 可以设置两个无线或红外发射单元，以分别发送基本按键部的按键码流信息和鼠标按键部 的按键码流信息；根据本实施例的另外一个实施方式，可以仅设置一个无线或红外发射单 元，以发送基本按键部的按键码流信息和鼠标按键部的按键码流信息。本实施例的终端可以是个人计算机、数字电视或模拟电视，包括前述的终端本体 21、多目标处理装置22和遥控器23，通过遥控器23和多目标处理装置22的配合，突破了传 统遥控器和传统鼠标的限制，更方便快捷的对日益发展的终端及其提供的业务进行控制和 使用。图3为本实用新型实施例提供的一种终端应用示意图，请参照图3，在本应用中， 该终端包括终端本体31 ；多目标处理装置32以及两个带反光体的遥控器33，其中终端本体31通过一个显示屏幕和一个处理主机表示，在本实施例中，该终端本体 31的显示屏幕可以是计算机的显示器，数字电视的显示屏，或者模拟电视的显示屏；该终 端本体31的处理主机可以是计算器的主机，数字电视的处理芯片，或者模拟电视的处理芯 片。多目标处理装置32可以包含于计算机的处理主机，数字电视的处理部分，或者模 拟电视的机顶盒。两个带反光体的遥控器33可以是鼠标式遥控器，兼具鼠标和遥控器的功能。在本应用中，设置于显示屏幕的发光体发出光线，带有反光体的遥控器反射所述 光线到显示屏幕，多目标处理装置32通过两个摄像头捕捉该遥控器33的图像，判断两个运 动目标的存在，并分别计算出各自坐标后，通过有线或者无线的方式传输给终端本体31，从 而控制终端本体31的屏幕上两个光标的移动。本实施例是以两个遥控器为例加以说明，但本实施例并不以此作为限制，例如一 个遥控器或者多个遥控器的方案都可以应用于本实用新型。本实施例将遥控器功能与鼠标功能更好的结合，通过多目标处理，即，利用相邻多 帧图像数据判断运动目标的重心，根据运动轨迹判断出当前帧各个运动目标所属的运动轨 迹，并利用概率模型进行检验，使空中鼠标方案能够判断并处理多个运动目标，可实行多用 户同时操作的应用，并准确快速的定位，并具有如下优点1.不但可以用来看电视、录像、V⑶、DVD等，还能用来玩游戏、上网、发电子邮件、 网上购物、网上点播等。2.解决了原鼠标遥控器工作时只能有一个用户操作的局限性，使得在PC或者电 视上可以划分多个区域，让多用户分别操作，例如电视上画中画可以有两个用户分别换台。3.解决了原鼠标遥控器在游戏领域只能有一个玩家的局限性，使游戏(尤其是射 击类游戏)更真实化。[0083]结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执 行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存 储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术 领域内所公知的任意其它形式的存储介质中。以上所述的具体实施例，对本实用新型的目的、技术方案和有益效果进行了进一 步详细说明，所应理解的是，以上所述仅为本实用新型的具体实施例而已，并不用于限定本 实用新型的保护范围，凡在本实用新型的精神和原则之内，所做的任何修改、等同替换、改 进等，均应包含在本实用新型的保护范围之内。
权利要求一种多目标处理装置，其特征在于，所述装置包括发光体，用于发射光线，以便遥控器上的反光体反射所述光线；至少两个图像采集单元，每一个图像采集单元用于获取以反光体作为标志物的遥控器的连续图像信息；聚类及滤波单元，用于根据每一个图像采集单元获取到的所述连续图像信息，确认每一个图像采集单元获取到的所述连续图像中每帧图像的有效目标，并计算每个有效目标的重心；多目标分离单元，用于根据每一个图像采集单元获取到的所述连续图像中每帧图像的有效目标的重心坐标，确认所述有效目标的移动轨迹；交叉判别单元，用于根据每一个图像采集单元获取到的所述连续图像中每帧图像的有效目标的重心坐标，确认有效目标的实际重心坐标；光标偏移控制单元，用于根据所述有效目标的实际重心坐标和所述有效目标的移动轨迹，计算所述有效目标的屏幕显示坐标，获得与所述有效目标的移动轨迹相对应的屏幕显示坐标的移动轨迹。
2.根据权利要求1所述的装置，其特征在于，所述聚类及滤波单元包括聚类处理模块，用于根据每一个图像采集单元获取到的所述连续图像信息，对具有相 同特征的目标进行合并，获得所述连续图像中每帧图像的多个目标； 运动检测模块，用于从所述多个目标中找出运动目标；消噪模块，用于对所述运动目标进行滤波处理，以确认每一个图像采集单元获取到的 所述连续图像中每帧图像的有效目标；计算模块，用于计算所述有效目标的重心。
3.根据权利要求1所述的装置，其特征在于，所述装置还包括输出单元，用于将所述有效目标的屏幕显示坐标输出到终端，通过所述终端加以显示。
4.根据权利要求1所述的装置，其特征在于，所述图像采集单元为摄像头。
5.根据权利要求1所述的装置，其特征在于，所述有效目标为单个或者多个。
6.根据权利要求1所述的装置，其特征在于，所述发光体为红外光发光体或者激光发 光体或者可见光发光体。
7.根据权利要求1所述的装置，其特征在于，所述发光体设置于所述终端的显示屏幕 的四周，或者设置于所述图像采集单元的四周。
8.一种终端，所述终端包括终端本体，其特征在于，所述终端还包括权利要求1-7任一 项所述的多目标处理装置以及遥控器。
9.根据权利要求8所述的终端，其特征在于，所述遥控器包括 反光体，用于反射所述发光体发射出来的光线；基本按键部，用于发送基本按键的按键码流信息； 鼠标按键部，用于发送鼠标按键的按键码流信息；至少一个无线或红外发射单元，用于将所述基本按键的按键码流信息和/或所述鼠标 按键的按键码流信息发送到所述多目标处理装置。
10.根据权利要求8所述的终端，其特征在于，所述终端为个人计算机、数字电视或模 拟电视。
专利摘要本实用新型实施例提供一种多目标处理装置及终端，所述装置包括发光体，用于发射光线；至少两个图像采集单元，分别用于获取以反光体作为标志物的遥控器的连续图像信息；聚类及滤波单元，用于根据所述连续图像信息，确认所述连续图像中每帧图像的有效目标，并计算每个有效目标的重心；多目标分离单元，用于根据所述有效目标的重心坐标，确认所述有效目标的移动轨迹；交叉判别单元，用于根据所述有效目标的重心坐标，确认有效目标的实际重心坐标；光标偏移控制单元，用于根据实际重心坐标和所述有效目标的移动轨迹，计算所述有效目标的屏幕显示坐标，获得与所述有效目标的移动轨迹相对应的屏幕显示坐标的移动轨迹。
文档编号G06T7/20GK201654982SQ20102004683
公开日2010年11月24日 申请日期2010年1月13日 优先权日2010年1月13日
发明者周海京, 李刚, 洪钧, 路海明, 邓宇, 韩坚, 马辉 申请人:北京视博数字电视科技有限公司