专利名称：具有3d鼠标功能的遥控器及其遥控方法
技术领域：
本发明涉及遥控器，尤其是涉及一种利用室内环境及物体图像的位置和大小变化来进行鼠标光标定位的具有3D鼠标功能的遥控器及其遥控方法。
背景技术：
随着电视机向网络化和智能化方向的发展，电视机已不只局限于固定电视节目的播放，还演变成为综合性的家庭多媒体娱乐中心和信息中心。在智能电视时代，消费者不但可以利用电视收看传统的电视节目，还可以利用电视从互联网获取丰富的节目资源，并享受信息服务、互动游戏、电子购物、视频通讯、远程教育等丰富的网络服务。
由于智能电视的功能更加丰富，更加趋向多元化，智能电视机的用户界面已从传统的菜单界面变为多窗口、超文本、浏览器用户界面，使其更象一台多媒体计算机。但是目前的智能电视机仍使用普通的按键式红外遥控器进行操作，用户要靠多次按动上、下、左、右控制键，逐步将鼠标指针移动到预定区域，最后再按下确认键来进行功能选择，操作异常繁琐，不能象使用计算机鼠标一样进行快速移动定位，从而难以适应交互性很强的智能电视互动应用及服务。
为了解决红外遥控器不具备鼠标功能的问题，永新同方信息工程有限公司公开了一种鼠标式遥控装置(公开号:CN101201968A)，其实施方案是通过在现有的遥控器上装设具有鼠标功能的按键外，另增设一个发光体，并通过发射键控制该发光体发光，从而使该发光体的移动轨迹信息被电视终端接收器的摄像头拍摄下来，并转换为光标的移动信息后，传输到电视终端控制装置，以控制该终端屏幕上光标的移动，达到了兼具鼠标与遥控器的功能。这种鼠标式遥控装置存在如下问题:
(I)只能进行上下、左右移动定位，不能进行前后移动定位；
(2)必需在电视终端摄像头的视场范围内使用，并将遥控器指向电视终端摄像头，使用范围受限；
(3)需要对电视终端硬件进行改造，在电视终端中增加摄像头和图像处理电路等部件；
(4)遥控器中的发光部件及其驱动电路增加了遥控装置的成本。发明内容
为克服上述缺点，本发明目的在于提供一种利用室内环境及物体图像的位置和大小变化来进行鼠标光标定位的具有3D鼠标功能的遥控器。
本发明通过以下技术措施实现的，一种具有3D鼠标功能的遥控器，包括一按键矩阵和一电连接按键矩阵的遥控装置，还包括电连接遥控装置的一主控电路，所述主控电路上电连接有一图像传感器，图像传感器的感光面前部设置有一测量物镜；其中
按键矩阵，具有电视遥控按键外还设置有鼠标功能按键；
测量物镜，用于将周围环境及物体成像在图像传感器的感光面上；
图像传感器，用于将感光面上的光学图像信息转换成数字图像并向主控电路输出数字图像信息；
主控电路，用于处理图像传感器输出的数字图像，识别数字图像中物体的位置及大小变化，换算为遥控器的X/Y/Z坐标变化数据，并转换为编码脉冲，同时对按键矩阵进行扫描，将按键状态编码数据和坐标变化数据编码脉冲传输给遥控装置；
遥控装置，包括发射电路和发射头，用于将按键状态编码数据和坐标变化数据编码脉冲通过发射头发射出去。
作为一种优选方式，所述主控电路的主控芯片为单片机。
作为一种优选方式，所述发射电路为红外发射电路，所述发射头为红外发射头。
作为一种优选方式，所述图像传感器为CMOS图像传感器。
作为一种优选方式，所述鼠标功能按键包括滚轮、左键和右键。
本发明还公开了使用具有3D鼠标功能的遥控器的遥控方法，包括如下步骤:
(I)、遥控器位置检测:遥控器中的测量物镜、图像传感器和主控电路组成遥控器位置检测单元，测量物镜将周围环境及物体成像在图像传感器的感光面上，图像传感器间隔一定时间分帧将光学图像信息转换成数字图像信息后输出给主控电路；当遥控器沿上下和左右方向移动时，图像传感器中的图像会产生相反方向的移动，根据图像的位置变化可获得遥控器沿上下和左右方向的位移数据；当遥控器沿前后方向移动时，图像传感器中的图像的大小会发生变化，根据图像的大小变化可获得遥控器沿前后方向上的位移数据；
(2)、鼠标光标显示:主控电路间隔一定时间将遥控器实时的上下、左右和前后位移数据转换为编码脉冲，发射电路将位移变化数据编码脉冲通过发射头发射出去，并由终端装置的接收头接收后，在终端装置的显示屏的对应位置上显示鼠标光标；
(3)、按键命令传送:当按键矩阵中的某一个按键或某一组合按键被触发，按键矩阵将按键状态编码数据传输给发射电路，发射电路将按键状态编码数据通过发射头发射出去，并由终端装置的接收头接收后，在终端装置上执行对应的命令。
作为一种优选方式，提取数字图像信息前采用中值滤波法对图像进行噪声滤除，采用一个含有奇数个点的滑动窗口，将窗口中心点的值用窗口内各点的中值代替，其功能是使与周围像素灰度值的差比较大的像素用与周围像素值接近的像素替换，消除孤立的噪声点。中值滤波法不是简单的取均值，产生的模糊比较少，而且具有去噪能力强、边界细节保持好、处理速度快等优点。
作为一种优选方式，所述终端装置为智能电视机、IPTV机顶盒、网络DVD/HD播放机或计算机。
作为一种优选方式，所述发射电路为红外发射电路，所述发射头为红外发射头。
本发明的遥控器间隔不断地检测被测图像投影在图像传感器感光面上的位置及大小变化，通过遥控装置发出遥控器的三维空间位置信息；当按下遥控器上的其它控制按键时，红外发送器发出相应的命令信息。
本发明的技术方案还可单独用在鼠标上，也就是说一种由设置在鼠标中的测量物镜、图像传感器和主控电路组成鼠标位置检测单元，并由主控电路将鼠标的位置信息变化转化为鼠标光标在显示屏上的3D位置变化，从而进行相关的控制操作。
本发明与现有技术相比的优势:
(I)现有鼠标式遥控装置只能提供上下、左右2D位置信息，本发明能提供上下、左右、前后3D位置信息，可用于3D交互的网络游戏和应用软件。
(2)现有鼠标式遥控装置必须要将遥控器指向电视终端接收器中的摄像头才能正常工作，本发明的遥控器可以指向任何空间方向。
(3)本发明无需对智能电视机硬件进行任何改造。本发明的设备变化主要设计在遥控器上，并通过遥控装置将三维空间位置信息传送给终端装置的接收器，因此只需对端装置的驱动程序进行升级即可，即不增加端装置的接收器的工艺难度和产品成本，也可用于消费者已购买的端装置如智能电视机等。
(4)本发明利用室内环境及物体图像投影在图像传感器感光面上的位置和大小变化来进行定位，不需定位光源，节省了发光部件及其驱动电路，可降低成本。
图1为本发明的结构框图。
具体实施方式
下面结合实施例并对照附图对本发明作进一步详细说明。
如图1，一种具有3D鼠标功能的智能电视遥控器，包括一按键矩阵1、一电连接按键矩阵I的红外遥控装置和电连接红外接遥控装置的一主控电路2，按键矩阵I具有电视遥控按键区外还设置有包括滚轮、左键和右键的鼠标功能按键区；主控电路2上电连接有一CMOS图像传感器3，CMOS图像传感器3的感光面前部设置有一测量物镜4 ;其中
测量物镜4，用于将周围环境及物体成像在CMOS图像传感器3的感光面上；
CMOS图像传感器3，用于将感光面上的光学图像信息转换成数字图像并向主控电路2输出数字图像信息；
主控电路2的主控芯片为单片机，用于处理CMOS图像传感器3输出的数字图像，识别数字图像中物体的位置及大小变化，换算为遥控器的X/Y/Z坐标变化数据，并转换为编码脉冲，同时对按键矩阵I进行扫描，将按键状态编码数据和坐标变化数据编码脉冲传输给遥控装置；
红外遥控装置，包括红外发射电路6和红外发射头5，用于将按键状态编码数据和坐标变化数据编码脉冲通过红外发射头5发射出去，并由智能电视遥控器的红外接收头所接收。
使用具有3D鼠标功能的智能电视遥控器的遥控方法，包括如下步骤:
(I)、遥控器位置检测:遥控器中的测量物镜4、CM0S图像传感器3和主控电路2组成遥控器位置检测单元，测量物镜4将周围环境及物体成像在CMOS图像传感器3的感光面上，CMOS图像传感器3间隔一定时间分帧将光学图像信息转换成数字图像信息后输出给主控电路2，主控电路2提取图像中的物体轮廓特征，对物体轮廓特征的大小和位置进行几何参数识别以X/Y/Z坐标计算出遥控器位置，并将开机时检测的X/Y/Z坐标设为原点，将后一帧图像中物体轮廓特征的大小和位置的几何参数与前一帧的进行比较，得出遥控器实时的X/Y/Z坐标；
提取图像中的物体轮廓特征前采用中值滤波法对图像进行噪声滤除，采用一个含有奇数个点的滑动窗口，将窗口中心点的值用窗口内各点的中值代替，其功能是使与周围像素灰度值的差比较大的像素用与周围像素值接近的像素替换，消除孤立的噪声点；滤除数字图像噪声后，主控电路2对数字图像进行边缘检测，将图像中的物体轮廓特征提取出来，然后对物体轮廓的大小和位置进行几何参数识别，根据当前图像中物体轮廓相对于前一帧图像物体轮廓的位置和大小变化，就可得到遥控器沿上下(Y)、左右(X)和前后(Z)方向上的位置变化，并将遥控器的X/Y/Z坐标数据通过红外发射头5实时传送给智能电视机；
(2)、鼠标光标显示:主控电路2间隔一定时间将遥控器实时的X/Y/Z坐标转换为编码脉冲,红外发射电路6将坐标变化数据编码脉冲通过红外发射头5发射出去，并由智能电视机的红外接收头接收后，在智能电视机屏的对应位置上显示鼠标光标；
(3)、按键命令传送:当按键矩阵I中的某一个按键或某一组合按键被触发，按键矩阵I将按键状态编码数据通过主主控电路2传输给红外发射电路6，红外发射电路6将按键状态编码数据通过红外发射头5发射出去，并由智能电视机的红外接收头接收后，在智能电视机上执行对应的命令。
特别提出的是，终端装置还可以是IPTV机顶盒、网络DVD/HD播放机或计算机。
以上是对本发明具有3D鼠标功能的遥控器及其遥控方法进行了阐述，用于帮助理解本发明，但本发明的实施方式并不受上述实施例的限制，任何未背离本发明原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
权利要求
1.一种具有3D鼠标功能的遥控器，包括一按键矩阵和一电连接按键矩阵的遥控装置，其特征在于:还包括电连接遥控装置的一主控电路，所述主控电路上电连接有一图像传感器，图像传感器的感光面前部设置有一测量物镜；其中 按键矩阵，具有电视遥控按键外还设置有鼠标功能按键； 测量物镜，用于将周围环境及物体成像在图像传感器的感光面上； 图像传感器，用于将感光面上的光学图像信息转换成数字图像并向主控电路输出数字图像信息； 主控电路，用于处理图像传感器输出的数字图像，识别数字图像中物体的位置及大小变化，换算为遥控器的X/Y/Z坐标变化数据，并转换为编码脉冲，同时对按键矩阵进行扫描，将按键状态编码数据和坐标变化数据编码脉冲传输给遥控装置； 遥控装置，包括发射电路和发射头，用于将按键状态编码数据和坐标变化数据编码脉冲通过发射头发射出去。
2.根据权利要求1所述的具有3D鼠标功能的遥控器，其特征在于:所述主控电路的主控芯片为单片机。
3.根据权利要求1所述的具有3D鼠标功能的遥控器，其特征在于:所述发射电路为红外发射电路，所述发射头为红外发射头。
4.根据权利要求1所述的具有3D鼠标功能的遥控器，其特征在于:所述图像传感器为CMOS图像传感器。
5.根据权利要求1所述的具有3D鼠标功能的遥控器，其特征在于:所述鼠标功能按键包括滚轮、左键和右键。
6.使用权利要求1所述的具有3D鼠标功能的遥控器的遥控方法，其特征在于包括如下步骤: (1)、遥控器位置检测:遥控器中的测量物镜、图像传感器和主控电路组成遥控器位置检测单元，测量物镜将周围环境及物体成像在图像传感器的感光面上，图像传感器间隔一定时间分帧将光学图像信息转换成数字图像信息后输出给主控电路；当遥控器沿上下和左右方向移动时，图像传感器中的图像会产生相反方向的移动，根据图像的位置变化可获得遥控器沿上下和左右方向的位移数据；当遥控器沿前后方向移动时，图像传感器中的图像的大小会发生变化，根据图像的大小变化可获得遥控器沿前后方向上的位移数据； (2)、鼠标光标显不:主控电路间隔一定时间将遥控器实时的上下、左右和如后位移数据转换为编码脉冲，发射电路将位`移变化数据编码脉冲通过发射头发射出去，并由终端装置的接收头接收后，在终端装置的显示屏的对应位置上显示鼠标光标； (3)、按键命令传送:当按键矩阵中的某一个按键或某一组合按键被触发，按键矩阵将按键状态编码数据传输给发射电路，发射电路将按键状态编码数据通过发射头发射出去，并由终端装置的接收头接收后，在终端装置上执行对应的命令。
7.根据权利要求6所述的遥控方法，其特征在于:所述提取数字图像信息前采用中值滤波法对图像进行噪声滤除，采用一个含有奇数个点的滑动窗口，将窗口中心点的值用窗口内各点的中值代替，其功能是使与周围像素灰度值的差比较大的像素用与周围像素值接近的像素替换，消除孤立的噪声点。
8.根据权利要求6所述的遥控方法，其特征在于:所述终端装置为智能电视机、IPTV机顶盒、 网络DVD/HD播放机或计算机。
9.根据权利要求6所述的遥控方法，其特征在于:所述发射电路为红外发射电路，所述发射头为红外发射头。
全文摘要
本发明涉及遥控器，公开了一种具有3D鼠标功能的遥控器，包括一按键矩阵和一电连接按键矩阵的遥控装置，还包括电连接遥控装置的一主控电路，所述主控电路上电连接有一图像传感器，图像传感器的感光面前部设置有一测量物镜。本发明还公开了使用具有3D鼠标功能的遥控器的遥控方法，包括如下步骤(1)遥控器位置检测；(2)鼠标光标显示；(3)按键命令传送。本发明能提供上下、左右、前后3D位置信息，可用于3D交互的网络游戏和应用软件；本发明的遥控器可以指向任何空间方向；本发明无需对智能电视机硬件进行任何改造；本发明不需定位光源，节省了发光部件及其驱动电路，可降低成本。
文档编号G06F3/0346GK103106785SQ20111035462
公开日2013年5月15日 申请日期2011年11月10日 优先权日2011年11月10日
发明者高宏, 赵能豪, 夏鸿志, 伍勤冰, 王庆 申请人:深圳市迈乐数码科技股份有限公司