采用计算机视觉实现人机交互的智能运动器械及交互方法与流程

文档序号:15997952发布日期:2018-11-20 19:04阅读:463来源:国知局

本发明涉及用于用户和计算机之间交互的输入装置或输入和输出组合装置技术领域,具体是一种采用计算机视觉实现人机交互的智能运动器械及交互方法。



背景技术:

电动跑步机,椭圆机,磁控车等都是常见的运动器械,它们都有一个控制台,运动者通过控制台来设定跑步机的速度、跑台的坡度、椭圆机、磁控车的速度、阻力等各类运动参数,同时该控制台也可以显示运行的速度、时间、里程、消耗的热量等参数,如图1所示,即通过控制台来实现人机的信息交互。现有技术中运动器械的控制台一般包括以下几种类型:

1.通过LED点阵,数码管加按键构成的控制台,只能简单的显示一些数字,符号等简单的器械的状态信息。

2.在上述基础上增加一个电视机,可以边运动边看电视。

3.通过液晶屏加触摸屏,按键等构成的控制台,一般都是基于安卓系统,除了能显示必须的运动参数以外,还能够实现上网看电视,看新闻,听音乐等等娱乐,以及通过wifi,蓝牙等实现运动数据的传送。

采用液晶屏加触摸屏的控制系统早期有电阻式触摸屏,红外式,超声波式,电容式等等。由于电容式触屏灵敏度高,能实现多点触控等优点,所以主流产品都是以电容式触摸屏为主。

但是在实际使用过程中也发现电容式触摸屏+机械按键的系统存在以下问题:

1.电容屏容易受干扰而引起触摸不灵。由于一般健身房都会装备较多的跑步机,椭圆机,磁控车等健身设备,所以工作空间的电磁环境较为恶劣。

2.在运动过程中人员出汗也会导致触摸屏的效果不良。

3.电容式触摸屏容易破碎。

4.电容式触摸屏的成本较高。

5.机械式的按键存在容易失效的问题。



技术实现要素:

本发明的目的就是为了解决现有技术中的上述问题,提供一种结构、方法新颖,安全可靠,精度高且使用寿命长的采用计算机视觉实现人机交互的智能运动器械,所述智能运动器械包括:活动区,所述活动区为人体活动的区域;光源;图像传感器,所述的图像传感器数量为≥2个,图像传感器分别设置在不同位置并对准活动区,由图像传感器获取目标的图像;

优选地,所述图像传感器均分别设置在活动区前端。

优选地,所述的光源为红外光源。

优选地,所述的图像传感器可替换为摄像头,所述的摄像头包括处理器、由若干片透镜组成的镜头以及CCD或CMOS组成的图像感应原件。

本发明还包括一种采用计算机视觉实现人机交互的智能运动器械的交互方法,该方法采用上述智能运动器械,通过已知参数及若干个图像传感器获取的位置和信息,得到触摸点在图像传感器中成像的位置,并计算出触摸点在显示屏上的物理坐标,通过计算出的坐标点来判断不同的操作。

优选地,上述计算方法为:设X轴、Y轴,X轴为水平方向,Y轴为垂直于X轴并竖直向上,两个图像传感器之间的间距为L,图像传感器的光轴与X轴的夹角为θ,触摸点P位于显示屏范围内,该点的主光线与两个传感器的光轴的夹角分别为α和β,根据三角关系有:式中L1、L2为触摸点P在图像传感器中成像的位置,通过像素个数×像素宽度计算得到;设定以各自的光轴为基准,α、β逆时针为正,顺时针为负,由三角关系可知,计算可得P点坐标为:

0<2θ-α+β<π,由此计算出触摸点在显示屏上的物理坐标。

优选地,在图像传感器获取位置和信息时,通过对图像传感器进行标定来建立图像传感器测量与三维世界测量的联系,即建立图像传感器的自然单位和物理世界的单位的对应,从而得到图像传感器的内参数和外参数矩阵,所述的标定通过OpenCV的标定程序完成。

优选地,标定完成后,触摸点变为三维点,通过计算该三维点在成像仪中的坐标得到三维物理坐标下的点的位置,该转换过程通过OpenCV中的cvCalibrateCamera2()函数来实现。

本发明同现有技术相比,其优点在于:

1.取代电容式触摸屏,通过计算机对摄像头图像信息的处理可以计算出手指的坐标,从而可以实现电容式触摸屏的定位功能。

2.可以直接得到在视觉空间内任意按键的位置,从而取代物理的机械按键。

3.实现放大,旋转,拖动等功能,根据计算机对图像信号进行处理可以得到一点或多点的一系列时刻的坐标,并对这些坐标的数据进行分析就可以解析出放大,旋转以及拖动的动作,完全可以仿效电容式触摸屏的多点触控的功能。

4.自适应放大的功能,当通过摄像头图像信息计算获得的坐标对应屏幕的显示区域的内容文字过小时,系统可以自适应放大显示区域的内容从而有利于更精确的定位。

5.可以通过摄像头的图像传感器判断跑步机上有没有人,从而可以实现准确的无人停机的功能。

附图说明

图1是现有技术中的跑步机结构示意图;

图2是现有技术中的液晶屏粘合触摸屏的结构示意图;

图3是本发明的主要结构示意图;

图4是本发明的双图像传感器成像原理示意图;

如图所示,图中:1.控制显示面板2.控制按键3.液晶屏4.触摸屏11.图像传感器12.控制电路13.红外光源。

具体实施方式

下面结合附图对本发明作进一步说明,这种装置的结构和原理对本专业的人来说是非常清楚的。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。

如图3所示,该采用计算机视觉实现人机交互的智能运动器械主要包括活动区、光源、图像传感器和计算机处理系统。其中,活动区为供人体活动的区域,光源优选为红外光源,必要时用来补充自然光线的不足。计算机处理系统包括显示屏、运算模块及控制电路,运算模块连接显示屏及控制电路,控制电路分别连接图像传感器和光源。图像传感器数量为≥2个,分别设置在不同位置并对准活动区,从而可采集到人体的触摸点在物理空间的位置和运动信息,图像传感器包括镜头、处理器、CCD/CMOS器件等。图像传感器可设置在活动区前端,或者位于智能运动器械的屏幕两侧等。图像传感器可替换为摄像头,摄像头包括处理器、由若干片透镜组成的镜头以及CCD或CMOS组成的图像感应原件等。

本发明的核心就是要能要能通过对图像传感器的图像信息分析从而得到手指在物理空间的坐标。其工作原理说明如下:

如图4所示,设X轴、Y轴,X轴为水平方向,Y轴为垂直于X轴并竖直向上,任意两个图像传感器之间的间距为L,图像传感器的光轴与X轴的夹角为θ,触摸点P位于显示屏范围内,该点的主光线与两个传感器的光轴的夹角分别为α和β,根据三角关系有:

式中L1、L2为触摸点P在图像传感器中成像的位置,通过像素个数×像素宽度计算得到;λ为图像传感器或摄像头的镜头到其CCD/CMOS器件表面的距离;设定以各自的光轴为基准,α、β逆时针为正,顺时针为负,由三角关系可知,

计算可得P点坐标为:

0<2θ-α+β<π

由以上推导可知,通过检测触摸点在两个图像传感器中成像的位置,就可以计算出触摸点在显示屏上的物理坐标。

通过以上的分析可以看出,空间坐标的获得就是个数学计算的问题,通过计算机系统是可以实现的。

本发明一个具体的实现是采用Rockchip的RK3399智能硬件平台搭载OpenCV Android计算机视觉软件来实现。

RK3399是瑞芯微针对平板电脑、机顶盒、人工智能等应用推出的一款智能处理器,有6个CPU内核和专用高性能图像处理器GPU,有很强的计算能力和图像处理的能力。RK3399搭载安卓操作系统。OpenCV是一个开源的计算机视觉库,它为图像处理,模式识别,三维重建,摄像机标定,物体识别等提供了各种各样的算法,可以直接调用,极大简化了各种基于计算机视觉的应用。OpenCV可以基于安卓系统运行,这样就可以Rk3399的硬件平台为支撑,通过OpenCV的开源算法就可以比较方便的实现本发明。

具体实施的主要步骤如下:

1.图像的获得:

RK3399提供了摄像头的接口,摄像头图像信号可以直接获取。

2.摄像头的标定:

摄像头都采用了透镜来增加光线的采集,但同时也引入了透镜的畸变,另外,采用2个摄像头的计算机视觉系统要求做到平行,这个在实践中也会有偏差,所以要进行标定,得到摄像头的内参数和外参数矩阵。OpenCV自带标定函数:cvCalibrateCamera2(),可以直接调用,标定程序如下:

通过标定就建立了摄像机测量与三维世界测量的联系,也就是建立了摄像机的自然单位(像素)和物理世界的单位(米)的对应关系。

3.给定点的三维坐标的获得:

一旦对摄像头完成了标定,就能将物理世界的点无歧义地投影到图像上,这就意味着在三维物理坐标下的点的位置,我们可以通过计算该三维点在成像仪中的坐标(像素坐标)而得到。在OpenCV中,这个转换过程通过函数cvProjectPoints2()来实现。这个函数调用如下:

4:通过这些坐标点来判断不同的操作。

得到了指尖的坐标点,就可以进一步分析可能的操作,如果是单点则是点击或是按键的操作,如果是一系列的点,可以根据这些点的分布及运动轨迹判断是放大、拖动、或是旋转。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1