专利名称：控制受控物体进行三维运动的控制方法及装置的制作方法
技术领域：
本发明涉及三维控制，尤其涉及一种控制受控物体进行三维运动的控制方法及装置。
背景技术：
桌面鼠标是在二维屏幕内实现对对象的控制，由于目前3D图形在各个领域被广泛使用，大量游戏、界面等均使用3D图形，所以需要由原先的二维操作，升级为三维操作。 目前实现三维操作控制的方法主要有桌面操控和加速度计+陀螺仪两种方案。其中，桌面操控的方案是通过桌面鼠标等装置实现三维操作，这种方式使用鼠标滑动实现平面二维操控，使用滚轮实现纵深方向的移动，例如中国专利CN1180434A、 200810125641等都是在平面上模拟三维操作。然而，这种三维操作方式不立体、不直观，特别是在体验类游戏中，更需要直观立体的控制。其中，加速度计+陀螺仪的方案可以在空中应用，在手持控制端中集成陀螺仪及加速度计，通过陀螺仪和加速度计获得的实时数据，可以得到手持控制端的运动信息，将这些信息发送给受控设备，就可以完成对受控设备的三维控制。然而，这种方案很难精确定位，而且方案所使用的加速度计和陀螺仪价格较高，手持控制端还需要与受控设备进行数据的无线传输，这样又增加了成本，另外，这种设备耗电较大，需要经常更换电池。
发明内容
本发明实施例的主要目的在于提供一种控制受控物体进行三维运动的控制方法及装置，以实现对受控物体的三维运动的控制。本发明实施例的上述目的是通过如下技术方案实现的一种控制受控物体进行三维运动的控制装置，所述装置包括摄像头，用于采集靶标在移动过程中的连续图像；图像处理单元，用于根据所述摄像头采集的靶标的连续图像计算所述靶标的三维坐标以及所述靶标的移动偏移量；传输单元，用于将所述图像处理单元计算获得的所述靶标的移动偏移量发送到受控物体的控制模块，以便所述控制模块控制所述受控物体根据所述靶标的移动偏移量移动。一种计算机，所述计算机包括前述的控制受控物体进行三维运动的控制装置，用于控制该计算机中的虚拟空间中的图形图标例进行三维运动。一种接收端设备，所述接收端设备包括前述的控制受控物体进行三维运动的控制装置，用于控制计算机中的虚拟空间中的图形图标例或者物理实例进行三维运动。一种控制受控物体进行三维运动的控制方法，所述方法包括采集靶标在移动过程中的连续图像；根据采集到的靶标的连续图像计算所述靶标的三维坐标以及所述靶标的移动偏移量； 将获得的所述靶标的移动偏移量发送到受控物体的控制模块，以便所述控制模块控制所述受控物体根据所述靶标的移动偏移量移动。本发明实施例的方法和装置，利用图像识别原理，使用单个摄像头和单个无源靶标实现对受控物体的三维运动的控制，具有操作简单、直观，成本低，节省电能等优点。
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中图1为本发明实施例的三维位置控制装置的组成框图；图2为本发明实施例的图像处理器的组成框图；图3为本发明实施例的三维位置控制装置的一个实施方式的使用示意图；图4A-图4D为通过本发明实施例的三维位置控制装置控制三维球体根据靶标移动进行相应运动的示意图；图5为本发明实施例的三维位置控制装置的另外一个实施方式的使用示意图；图6为本发明实施例的三维位置控制方法的流程图；图7为图6所示方法中步骤602的具体实现示意图。
具体实施例方式为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。图1为本发明实施例提供的一种三维位置控制装置的组成框图，请参照图1，该装置主要包括摄像头101、图像处理单元102以及传输单元103，其中摄像头101用于采集靶标在移动过程中的连续图像。其中，靶标是被识别的对象，本实施例的三维位置控制装置通过计算靶标在移动过程中的坐标，根据靶标的位置变化控制受控物体。本实施例中的靶标可以是无源器件，无需与控制器进行通信，通过靶标在空间运动，例如进行上下、左右、前后的运动来实现对受控物体的控制，控制受控物体进行相应的移动。而靶标的形状可以是球体、正方体或正多面体等，本实施例并不以此作为限制。另外，靶标上还可以贴附反光材料，以方便摄像头捕捉图像。在本实施例中，摄像头为一个，可以用于追踪一个靶标，以控制一个受控物体；也可以用于追踪多个靶标，以控制多个受控物体。在该摄像头的四周可以设置若干颗红外 LEDdight emitting diode，发光二极管)，用于照明靶标，以便更好的采集该靶标的图像。图像处理单元102用于根据所述摄像头101采集的靶标的连续图像计算所述靶标的三维坐标以及所述靶标的移动偏移量。其中，图像处理单元102对摄像头101获取的连续图像进行处理，提取靶标在每一帧图像中的坐标信息，据此获得靶标的移动偏移量。其中，靶标在每一帧图像中的X轴坐标信息和y轴坐标信息可以直接从图像中提取，而靶标在每一帧图像中的Z轴坐标信息，也即靶标的深度信息可以根据靶标在每一帧图像中的成像面积，也即像素点数并结合摄像头的参数来确定，以下将通过具体的实施例加以说明。其中，靶标的移动偏移量是根据靶标在前后两帧图像中的坐标之差来确定，这也将在以下的实施例中加以说明。其中，图像处理单元102可以为计算机的CPU或者嵌入式装置的MCU或者单独的图像处理芯片，本实施例并不以此作为限制。在一个实施例中，请参照图2，该图像处理器可以包括
识别模块201，用于根据所述靶标的物理特征从所述摄像头采集的靶标的每一帧图像中识别出所述靶标；其中，靶标的物理特征可以是靶标的形状、亮度、颜色等，本实施例并不以此作为限制，只要是能从摄像头拍摄的图像中识别出靶标的方法，都可以包含在本发明实施例的范围内。提取模块202，用于根据识别模块201识别出的每一帧图像中的靶标，提取所述靶标在所述每一帧图像中的X轴坐标和y轴坐标，以及所述靶标在所述每一帧图像中所占的像素点数；其中，根据识别模块201识别出的每一帧图像中的靶标，可以直接提取出靶标在每一帧图像中的X轴坐标和y轴坐标，以及靶标在每一帧图像中所占的像素点数，也即靶标的成像面积。第一计算模块203，用于根据所述提取模块202提取出的所述靶标在所述每一帧图像中所占的像素点数，以及所述摄像头的物理参数计算所述靶标在每一帧图像中的ζ轴坐标；其中，摄像头的物理参数可以是镜头与传感器的距离、传感器感应区面积或者传感器分辨率等，本实施例并不以此作为限制。其中，由于靶标的成像面积，也即靶标在每一帧图像中所占的像素点数N与靶标到摄像头的距离Z存在一定的数学关系，也即斤二 4，由此可以获得靶标在每一帧图像中的
Z
ζ轴坐标。其中，k为常数，可根据上述摄像头的物理参数获得，也可以由实测获得，例如先实际测量出距离z，再结合N计算获得k，在此不再赘述。第二计算模块204，用于根据所述提取模块202提取出的所述靶标在每一帧图像中的X轴坐标和y轴坐标，以及所述第一计算模块203计算获得的所述靶标在每一帧图像中的ζ轴坐标，计算前后两帧图像中靶标的移动偏移量。其中，靶标在不同帧的图像中的不同坐标，代表了该靶标的移动情况，因此，根据前后帧中靶标的坐标变化可以得到该靶标的移动偏移量。传输单元103用于将所述图像处理单元102计算获得的所述靶标的移动偏移量发送到受控物体的控制模块，以便该控制模块控制受控物体根据所述靶标的移动偏移量进行相应移动。其中，传输单元103可以通过有线或无线的方式将所述靶标的移动偏移量传递给受控物体的控制模块，该控制模块再控制受控物体根据这些信息进行相应的移动。其中，控制模块可以是控制芯片，也可以是控制电路，本实施例并不以此作为限制。其中，有线的方式包括USB或者直接电连接；无线的方式包括蓝牙、红外或者微波等，以下将通过不同的实施方式分别加以说明。其中，受控物体可以是虚拟空间中的图形图标例，例如由鼠标控制的游戏中的人物、物体等；也可以是物理实例，例如机器人等，本实施例并不以此作为限制。
其中，当受控物体为虚拟空间中的图形图标例时，本实施例的传输单元103将靶标的移动偏移量传递给该虚拟空间中的图形图标例的控制模块，该控制模块控制上述图形图标例根据所述移动偏移量进行相应的移动。当受控物体为物理实例时，本实施例的传输单元103将靶标的移动偏移量传递给该物理实例的控制模块，该控制模块控制该物理实例即根据所述移动偏移量进行相应的移动。通过本实施例的三维位置控制装置，操作者只需手持靶标，在摄像头拍摄范围内移动，图像处理器从摄像头拍摄图像中提取靶标信息，将靶标的移动信息通过传输单元传递给受控物体的控制模块，即可实现对受控物体的三维控制。相比较以往的方案，具有操作简单、直观，成本低，节省电能等优点。为使本实施例的三维位置控制装置更加清楚易懂，以下结合不同的实施例加以说明，相同的部分不再赘述。图3为本发明实施例的控制受控物体进行三维运动的控制装置的一个实施方式的使用示意图，请参照图3，在本实施方式中，摄像头、图像处理单元以及传输单元设置于一个接收端301中，其中，摄像头可以是数字摄像头；图像处理单元可以是一个图像处理芯片；传输单元可以是USB控制芯片或者蓝牙传输模块或者红外传输模块或者微波传输模块，与所述计算机302通过USB连接线或为无线方式(蓝牙、红外或微波)相连，以便将靶标的移动偏移量传递到计算机中控制受控物体的控制模块上；受控物体为计算机中的三维球体。其中，接收端301中除了设置摄像头以外，为了识别方便，还可以在摄像头周围放置若干颗红外LED，用于照明靶标，以提高信噪比，相应的，靶标上也可以配合贴附反光材料。在本实施方式中，要通过靶标的移动控制计算机中的三维球体进行相应的运动。 其中，接收端301的数字摄像头以一定的帧率进行图像采集，由于靶标的物理特性与周围其他物体有区别，接收端301的图像处理单元根据该区别从图像中识别出靶标，并从该帧图像中提取出靶标的中心位置坐标(X，y)，以及靶标在图像中所占的像素点数N，由于N与
靶标距摄像头的距离z，也即靶标的ζ轴坐标有关，即W 二 4"(其中k为常数)，由上式可以
ζ
求出Z值，下一帧图像执行同样的操作求出(X’，y’，Z’)，根据两帧的三维坐标就可以计算出靶标移动偏移量(dx，dy，dz)，该接收端301的传输单元将该移动偏移量传递给计算机中虚拟的三维球体的控制模块，该控制模块即可控制该三维球体就按照此偏移量移动。图4A为三维球体的位置示意图，图4B为当用户手持靶标左右移动时，该三维球体左右移动的示意图；图4C为当用户手持靶标上下移动时，该三维球体上下移动的示意图； 图4D为当用户手持靶标前后移动时，该三维球体前后移动的示意图。图5为本发明实施例的控制受控物体进行三维运动的控制装置的另外一个实施方式的使用示意图，请参照图5，与图3所示的实施方式不同的是，在本实施方式中，摄像头设置于计算机的显示屏幕的边缘，便于拍摄所述靶标的位置，可以是数字摄像头；图像处理单元设置于计算机中，可以是该计算机的CPU或者嵌入式装置的MCU或者是单独的图形处理芯片；传输单元也设置于计算机中，并与该计算机中的三维球体的控制模块电连接。该实施方式中，摄像头、图像处理单元以及传输单元的工作原理与前述实施例相同，在此不再赘述。根据本实施例的三维位置控制装置，操作者手持靶标置于摄像头摄像范围之内， 靶标会在摄像头中成像。摄像头将每一帧的图像传递给图像处理单元后，图像处理单元利用靶标的物理特征(比如形状、亮度、颜色等)从本帧图像中识别出靶标，并输出靶标中心在图像中的横纵坐标(x，y)，以及靶标在图像中所占像素点数N。对于固定物理参数的摄像头及固定大小的靶标，靶标的成像面积(即像素点数N)与靶标到摄像头的距离(即靶标的
Z轴坐标)Z存在一定的数学关系，A^ = 4 (k为常数)。由此可以通过N反推出Z，也即靶标
Z 的深度信息。下一帧时，靶标在三维空间发生了移动，靶标的像的中心在图像中的位置发生了变化，其横纵坐标变为(X’，y’)，其像所占的像素数也会发生变化(N’)，由N’可以推导出此时靶标与摄像头的距离ζ’。而后，传输单元将此两帧中靶标的位置变化量，也即靶标的移动偏移量(dx = x-x，，dy = y-y，，dz = z-z')传递给计算机中三维球体的控制模块，控制模块控制受控物体根据该移动的距离(dX，dy，dz)进行相应移动。这样摄像头连续拍摄， 图像处理单元连续得到图像信息，图像处理单元连续比较前后两帧或多帧中的靶标的坐标变化(dx，dy，dz)，就可以对受控物体进行持续的三维控制。本实施例的控制受控物体进行三维运动的控制装置，利用图像识别原理，通过单个摄像头和无源靶标实现了对受控物体的三维控制，具有操作简单、直观，成本低，节省电能的优点。图6为本发明实施例提供的一种控制受控物体进行三维运动的控制方法的流程图，请参照图6，该方法包括步骤601 采集靶标在移动过程中的连续图像；步骤602 根据采集到的靶标的连续图像计算所述靶标的三维坐标以及所述靶标的移动偏移量；步骤603 将所述靶标的移动偏移量发送到受控物体的控制模块，以便所述控制模块控制所述受控物体根据所述靶标的移动偏移量移动。在一个实施方式中，步骤602可以通过图7所示的方法实现，包括步骤701 根据所述靶标的物理特征从所述摄像头采集的靶标的每一帧图像中识别出所述靶标；步骤702 提取所述靶标在所述每一帧图像中的χ轴坐标和y轴坐标，以及所述靶标在所述每一帧图像中所占的像素点数；步骤703 根据所述靶标在所述每一帧图像中所占的像素点数，以及所述摄像头的物理参数，计算所述靶标在每一帧图像中的ζ轴坐标；步骤704 根据所述靶标在每一帧图像的χ轴坐标、y轴坐标以及ζ轴坐标，计算前后两帧图像中靶标的三维坐标的移动偏移量。在一个实施方式中，步骤603可以通过USB、蓝牙、红外或者微波的方式将所述靶标的移动偏移量发送到所述受控物体的控制模块，但本实施例并不以此作为限制。
本实施例的方法的各步骤分别用于实现前述控制受控物体进行三维运动的控制装置的各组成部分的功能，由于在前述控制受控物体进行三维运动的控制装置的实施例中，已经对各组成部分及其功能进行了详细说明，在此不再赘述。 通过本实施例的控制受控物体进行三维运动的控制方法，操作者只需手持靶标， 在摄像头拍摄范围内移动，图像处理单元从摄像头拍摄图像中提取靶标信息并计算获得靶标的移动偏移量，传输单元将靶标的移动偏移量发送到受控物体的控制模块，通过该控制模块控制受控物体根据所述移动偏移量进行相应的移动，即可实现对受控物体的三维控制。相比较以往的方案，具有操作简单、直观，成本低，节省电能等优点。结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
权利要求
1.一种控制受控物体进行三维运动的控制装置，其特征在于，所述装置包括摄像头，用于采集靶标在移动过程中的连续图像；图像处理单元，用于根据所述摄像头采集的靶标的连续图像计算所述靶标的三维坐标以及所述靶标的移动偏移量；传输单元，用于将所述图像处理单元计算获得的所述靶标的移动偏移量发送到受控物体的控制模块，以便所述控制模块控制所述受控物体根据所述靶标的移动偏移量移动。
2.根据权利要求1所述的装置，其特征在于，所述图像处理单元包括 识别模块，用于根据所述靶标的物理特征从所述摄像头采集的靶标的每一帧图像中识别出所述靶标；提取模块，用于根据识别模块识别出的每一帧图像中的靶标，提取所述靶标在所述每一帧图像中的χ轴坐标和y轴坐标，以及所述靶标在所述每一帧图像中所占的像素点数；第一计算模块，用于根据所述提取模块提取出的所述靶标在所述每一帧图像中所占的像素点数，以及所述摄像头的物理参数，计算所述靶标在每一帧图像中的ζ轴坐标；第二计算模块，用于根据所述提取模块提取的所述靶标在每一帧图像中的χ轴坐标和 y轴坐标，以及所述第一计算模块计算出的所述靶标在每一帧图像中的ζ轴坐标，计算前后两帧图像中靶标的三维坐标的移动偏移量。
3.根据权利要求1所述的装置，其特征在于，所述装置还包括多个红外发光二极管LED，设置于所述摄像头周围，用于照明所述靶标；其中，所述靶标上贴附有反光材料。
4.根据权利要求1所述的装置，其特征在于，所述图像处理单元为计算机的中央处理器CPU，或者嵌入式装置中的微控制单元MCU，或者所述图像处理单元为图像处理芯片。
5.根据权利要求1所述的装置，其特征在于，所述靶标为球体、正方体或正多面体的无源器件。
6.根据权利要求1所述的装置，其特征在于，所述受控物体为虚拟空间中的图形图标例，或者物理实例。
7.根据权利要求1所述的装置，其特征在于所述摄像头、所述图像处理单元以及所述传输单元设置于一个接收端设备中，所述传输单元通过所述有线或无线的方式将所述靶标的移动偏移量发送到所述受控物体的控制模块，其中，所述有线的方式包括USB或者直接电连接，所述无线的方式包括蓝牙、红外或微波；或者所述摄像头、所述图像处理单元以及所述传输单元都设置于计算机中，所述传输单元直接将所述靶标的移动偏移量发送到所述受控物体的控制模块，其中，所述摄像头设置于所述计算机的显示屏幕的边缘，便于拍摄所述靶标的位置，所述传输单元与所述受控物体的控制模块电连接。
8.一种计算机，其特征在于，所述计算机包括权利要求1-7任一项所述的控制受控物体进行三维运动的控制装置，用于控制该计算机中的虚拟空间中的图形图标例进行三维运动。
9.一种接收端设备，其特征在于，所述接收端设备包括权利要求1-7任一项所述的控制受控物体进行三维运动的控制装置，用于控制计算机中的虚拟空间中的图形图标例或者物理实例进行三维运动。
10.一种控制受控物体进行三维运动的控制方法，其特征在于，所述方法包括 采集靶标在移动过程中的连续图像；根据采集到的靶标的连续图像计算所述靶标的三维坐标以及所述靶标的移动偏移量；将获得的所述靶标的移动偏移量发送到受控物体的控制模块，以便所述控制模块控制所述受控物体根据所述靶标的移动偏移量移动。
11.根据权利要求10所述的方法，其特征在于，根据采集到的靶标的连续图像计算所述靶标的三维坐标以及所述靶标的移动偏移量，包括根据所述靶标的物理特征从所述摄像头采集的靶标的每一帧图像中识别出所述靶标；提取所述靶标在所述每一帧图像中的X轴坐标和y轴坐标，以及所述靶标在所述每一帧图像中所占的像素点数；根据所述靶标在所述每一帧图像中所占的像素点数，以及所述摄像头的物理参数，计算所述靶标在每一帧图像中的ζ轴坐标；根据所述靶标在每一帧图像中的χ轴坐标、y轴坐标以及ζ轴坐标，计算前后两帧图像中靶标的三维坐标的移动偏移量。
12.根据权利要求10所述的方法，其特征在于，将获得的所述靶标的移动偏移量发送到受控物体的控制模块，包括通过有线或无线的方式将所述靶标的移动偏移量发送到所述受控物体的控制模块，其中，有线的方式包括USB或者直接电连接；无线的方式包括蓝牙、红外或者微波。
全文摘要
本发明实施例提供一种三维位置控制方法及装置，所述装置包括摄像头，用于采集靶标在移动过程中的连续图像；图像处理单元，用于根据所述摄像头采集的靶标的连续图像计算所述靶标的三维坐标以及所述靶标的移动偏移量；传输单元，用于将所述靶标的移动偏移量发送到受控物体的控制模块，以便所述控制模块控制所述受控物体根据所述移动偏移量移动。本发明实施例的方法和装置，利用图像识别原理，使用单个摄像头和单个无源靶标实现对受控物体的三维运动的控制，具有操作简单、直观，成本低，节省电能等优点。
文档编号G06F3/01GK102270033SQ201010153658
公开日2011年12月7日 申请日期2010年4月20日 优先权日2010年4月20日
发明者安伟建, 李刚, 李明玉, 洪钧, 白岩, 祝春华, 路海明, 邓宇, 韩近跃, 马辉 申请人:北京佳视互动科技股份有限公司