一种智能可视化交互的装置和方法与流程

本发明属于人机交互装置技术领域，尤其是涉及一种物联网领域的智能互联及互动技术，具体是指一种智能可视化交互的装置和方法。

背景技术：

现有人机交互装置包括早期传统的键盘、鼠标等输入设备和主体处理器间的人机交互，以及智能设备中装载触摸装置的人机交互。例如，公告号为CN201510567852的中国实用新型专利，公开了“一种设备隔空控制方法”，其通过60GHz毫米波雷达对手部的手势动作进行测量和计算，集成到可穿戴设备中，用户可脱离触控笔和触控屏幕对设备进行输入和控制。此种通过雷达集成到可穿戴设备的交互方式存在以下缺陷：第一，雷达测距有一定的盲区，即在一定范围内采集不到信号，如一般十几厘米以内，具体需参考雷达技术规格和工程实现，因此，对于集成可穿戴设备的雷达装置和手势的距离在雷达的盲区范围内，或者手势动作中的多点交互坐标和雷达装置原点坐标在同一直线的情况下，那么此种方案对于以上所述这二种情况是无法正确识别的；第二，对于通过脉冲雷达信号测定手部动作的距离信息、连续波雷达测定手部的速度信息以及两者信息融合体现在可穿戴设备播放的VR视频中的空间感知，很难达到精确和同步，因此导致一定程度的滞后，会带来VR体验的晕眩感；第三，所述技术方案无法做到可见即所得的可视化展示，交互控制体验较差。

另外，目前存在的传统输入设备和控制方法已无法满足物联网发展的需求，比如传统的鼠标、键盘或者触控笔等，需要额外的携带和物理接线的困扰；基于屏幕触控方式的智能手机和平板等设备，较受限于设备屏幕尺寸大小和触控手指，当人手上有水分或者汗液的时候，手势的定位和识别效率严重下降。因此，需要一种输入设备装置能够摆脱目前智能设备触控交互的局限，以满足更广泛的应用场景需求。

技术实现要素：

为了克服上述现有技术中非触控屏的智能交互，解决人机交互虚拟可视化等技术问题，本发明提出了一种智能可视化交互的装置和方法，实现精确和实时的人机交互控制。

本发明采取的技术方案如下：本发明智能可视化交互的装置，包括第一终端、第一处理器、雷达装置和/或若干第二终端；

所述第一终端是交互控制的目标终端，其包括一种显示屏单元、处理器单元和/或屏幕表示和传输单元；所述第一终端和第一处理器通过串口和/或网络相连接；处理器单元负责串口和/或网络通信、计算处理和交互内容呈现；其串口和/或网络通信和处理模块包括接收交互控制指令单元；计算处理模块负责获取逻辑屏幕分辨率大小和上报至第一处理器，和实施交互指令的执行和处理；逻辑屏幕分辨率包括横轴和纵轴大小，单位是像素；交互内容呈现模块负责交互内容的渲染，以显示在第一终端显示屏；屏幕表示和传输单元负责计算用户交互界面中可操作元素，和/或通过图像或视频编码整个用户交互界面内容，以上两种方式二者选一传输至第一处理器；

所述第一处理器包括设备接入服务单元、参数配置单元、坐标计算单元、存储单元和手势识别计算单元；所述设备接入服务单元负责接入第一终端和至少一个以上第二终端；所述参数配置单元负责接收第一终端的逻辑分辨率大小，接收至少一个以上第二终端的物理屏幕的分辨率大小，和接收雷达装置的装配参数信息，下发到第一处理器系统实施计算；所述坐标计算单元依据第一终端的逻辑分辨率大小、第二终端的物理屏幕的分辨率大小、雷达装置装配点的位置类型和对于第二终端物理屏幕左上顶点的相对位置坐标，计算处理手部动作的坐标集合的各个坐标点在第一终端的逻辑分辨率对应下的坐标点；所述存储单元存储处理坐标计算单元在连续时间上不同的坐标点集合的结果，以及预先定义的手势的信息数据和手势对应的动作含义；手势识别计算单元依据存储单元的坐标点集合在不同时间轴上变化，结合存储单元预先定义的手势信息，计算当前的手势动作类型；

所述雷达装置包括雷达单元、雷达电源单元、雷达脉冲发送和接收单元和雷达信号采集单元；所述雷达单元包含雷达物理硬件主体、电机马达模组和串口或网络访问模块，电机马达模组用于以一指定的工作频率作旋转运动完成一定角度范围自由度的扫描工作的单元，串口或网络访问模块提供雷达装置和所述第一处理器控制信号和雷达测量数据信息的网络通信和传输；所述雷达电源单元是驱动雷达模块工作的电源输入模块；所述雷达脉冲发送和接收单元用于发送激光脉冲信号，并接收反射回的信号，以达到测定手部动作的距离；所述雷达信号采集单元用于采集手部动作的各点坐标，计算形成坐标集合；

所述第二终端包括显示屏单元和处理器单元；第二终端通过串口和/或网络通信方式和雷达装置相连接，同时第二终端和第一处理器处于网络连接；所述显示屏单元第一职能是展现第一处理器发送过来第一终端的用户交互界面的内容，第二职能是此种所述显示屏也用于人机交互输入控制，第一职能为第二职能提供了可见即所得的可视化交互控制；所述处理器单元负责接收和处理第一处理器发送过来的第一终端的用户交互界面的内容，标定和获取雷达装置的装配参数信息，获取手部动作的坐标集合；所述雷达装置的装配参数信息指示雷达装置装配点的位置对于第二终端物理屏幕左上顶点的相对位置坐标。

进一步地，所述储物罐包括物料进口、物料出口和大颗粒物料排出口，所述物料进口和物料出口之间设有过滤网，所述大颗粒物料排出口设于物料进口和过滤网之间。将填充物颗粒从储物罐的进口投入，填充物颗粒通过过滤网过滤，可有效阻挡粒径较大填充物颗粒进入物料加速器内，防止机器堵塞停止运行，大颗粒物料排出口又保证了粒径较大的填充物及时排出，有效降低抛物皮带机的能耗。

本发明还公开了一种智能可视化交互的方法，本方法采用雷达盲区补偿技术，解决现有技术中的直线型多点交互的遮挡问题，并且交互区域精确覆盖，无任何死角，支持雷达装置安装在第二终端显示屏周围的任意位置，尤其对于超大LED拼接屏，摆脱设备安装部署的场地和空间的局限。

进一步地，所述方法具体依据雷达装置的扫描射程范围，所述雷达装置的扫描射程范围表示成：[Dmin,Dmax]；所述第二终端标定的所述雷达装置的装配参数信息，指示雷达装置装配点的位置对于第二终端物理屏幕左上顶点的相对位置坐标(x0，y0)，所述装配点的相对第二终端屏幕的相对位置坐标由覆盖第二终端的交互输入控制屏幕大小和雷达装置的扫描射程范围[Dmin,Dmax]计算确定；尤其当雷达装置的装配点是水平位置安装，需测定计算确定x0至Dmin以上大小，同样地，装配点是垂直位置安装，需测定计算确定y0至Dmin以上大小；扫描屏幕区域的最远距离如果超出Dmax，则需在屏幕另外对称一侧安装第二雷达装置，所述方法以保证覆盖扫描检测到整个所述第二终端显示屏的交互区域，可精确计算和表示到像素级单位。

进一步地，所述方法充分利用雷达装置的扫描工作频率，在交互控制过程中，动态周期计算所述雷达装置电机马达的采集频率，当所得的采集频率小于人机交互控制设定的目标工作频率，比如25Hz，所述第二终端向上调整和设定电机马达的转速接口参数，如此输入设定电机马达的转速和实际运行的工作频率，构成了一个反馈的闭环控制系统，最终的实际运行频率也达到了稳定状态，即所述设定的目标工作频率；因此，本发明的技术方案实现精确人机交互控制和无延时的技术效果。

进一步地，本发明可实现一种智能的可视化人机交互和控制的技术效果，所述方法具体通过第一终端的屏幕表示和传输单元计算处理所述交互控制的目标终端，即第一终端的用户交互界面内容，所述第一终端的屏幕表示和传输单元负责计算用户交互界面中可操作元素，和或通过图像/或视频编码整个用户交互界面内容，以上两种方式二者选一传输至第一处理器，所述第一处理器传输所述用户交互界面内容至第二终端，第二终端计算获取的用户交互界面内容，并在所述第二终端的显示屏上展示，以达到可视化的人机交互的技术效果。

作为优选地，当第一终端屏幕分辨率大于1920x1080时，本发明采用的方法是所述第一终端的屏幕表示和传输单元通过计算用户交互界面中的可操作元素，灰度值采样和经过图像/或视频编码用户交互界面内容；当第一终端屏幕分辨率小于1920x1080时，所述第一终端的屏幕表示和传输单元通过计算用户交互界面中的可操作元素，彩色采样和经过图像/或视频编码用户交互界面内容。

进一步地，所述方法支持多个非触控的终端本地和/或异地远程接入共同对同一目标终端的交互操控，方法可应用于多个非触控设备的竞争互动应用；第一处理器包含的设备接入服务单元负责接入第一终端和至少一个以上第二终端，实现多个第二终端同时交互控制第一终端的目标设备；多个第二终端接入交互服务系统中，向第一处理器分别发送注册接入服务消息，注册接入服务消息包括第二终端的物理屏幕的分辨率大小和第二终端标定的所述雷达装置的装配参数信息，第二终端的物理屏幕的分辨率大小指示第二终端显示屏的交互区域，第二终端标定的所述雷达装置的装配参数信息指示雷达装置装配点的位置对于第二终端物理屏幕左上顶点的相对位置坐标(x0，y0)。第一处理器返回所述第一终端的逻辑分辨率大小和第一终端的屏幕表示和传输单元计算的屏幕表示方法类型指示参数和屏幕表示的数据流；第二终端获取第一终端的逻辑分辨率大小、第一终端的屏幕表示方法类型指示参数和屏幕表示数据流，进行计算处理和渲染输出至第二终端显示屏；交互过程中，第二终端获取手部动作的坐标集合传输至所述第一处理器，第一处理器存储和合并处理所述多个第二终端同一时刻的坐标集合，坐标计算单元计算在连续时间上不同的坐标点集合的结果，以及预先定义的手势的信息数据和手势对应的动作含义，匹配计算当前的手势动作类型，第一处理器将当前的手势动作类型实时传输至第一终端计算和执行交互指令。

采用上述结构本发明取得的有益效果如下：本方案智能可视化交互的装置和方法，第一，本发明的技术方案采用雷达盲区补偿技术，解决现有技术中的直线型多点交互的遮挡问题，并且交互区域精确覆盖，无任何死角，支持雷达装置安装在第二终端显示屏周围的任意位置，尤其对于超大LED拼接屏，摆脱设备安装部署的场地和空间的局限。第二，本发明的技术方案实现精确人机交互控制和无延时。第三，本发明的技术方案支持非触控显示屏终端所见即所得的可视化智能交互，实现触控式和/或隔空式交互操控，自然交互体验好。第四，本发明支持多个非触控的终端本地和/或异地远程接入共同对同一目标终端的交互操控，技术方案可应用于多个非触控设备的竞争互动应用领域。

附图说明

图1为本发明智能可视化交互的装置模块示意图；

图2为本发明智能可视化交互的装置另一实施例示意图；

图3为本发明雷达装置安装部署的结构示意图；

图4为本发明可视化人机交互的流程示意图。

其中，1、第一终端，2、第一处理器，3、雷达装置，4、第二终端，5、雷达装置安装位置区域线。

具体实施方式

结合附图，对本发明做进一步详细说明。

如图1所示，本发明智能可视化人机交互的装置，包括第一终端1、第一处理器2、雷达装置3和/或至少一个以上第二终端4。

实施例1，如图1所示，第一终端1是交互控制的目标终端，其包括一种显示屏单元、处理器单元和/或屏幕表示和传输单元。所述第一终端1和第一处理器2通过串口和/或网络相连接。此种显示屏单元不支持非触控交互，所述显示屏例如LED、LCD、CRT和IPS等液晶屏，投影设备携带的幕布或者白墙等，或者相关材质多个液晶模块组成的拼接屏等，在现有技术条件下不支持触控输入。处理器单元负责串口和/或网络通信、计算处理和交互内容呈现，其串口和/或网络通信和处理模块包括接收交互控制指令单元。计算处理模块负责获取逻辑屏幕分辨率大小和上报至第一处理器2，和实施交互指令的执行和处理。逻辑屏幕分辨率包括横轴和纵轴大小，单位是像素。交互内容呈现模块负责交互内容的渲染，以显示在第一终端显示屏。屏幕表示和传输单元负责计算用户交互界面中可操作元素，和或通过图像/或视频编码整个用户交互界面内容，以上两种方式二者选一传输至第一处理器2。

第一处理器2包括设备接入服务单元、参数配置单元、坐标计算单元、存储单元和手势识别计算单元等。设备接入服务单元负责接入第一终端1和至少一个第二终端4。上述参数配置单元负责接收第一终端1的逻辑分辨率大小，接收至少一个以上第二终端4的物理屏幕的分辨率大小，和接收雷达装置3的装配参数信息，下发到第一处理器2系统实施计算。上述坐标计算单元依据第一终端的逻辑分辨率大小、第二终端4的物理屏幕的分辨率大小、雷达装置3装配点的位置类型和对于第二终端4物理屏幕左上顶点的相对位置坐标，计算处理手部动作的坐标集合的各个坐标点在第一终端1的逻辑分辨率对应下的坐标点。存储单元存储处理坐标计算单元在连续时间上不同的坐标点集合的结果，以及预先定义的手势的信息数据和手势对应的动作含义。手势识别计算单元依据存储单元的坐标点集合在不同时间轴上变化，结合存储单元预先定义的手势信息，计算当前的手势动作类型。

雷达装置3包括雷达单元、雷达电源单元、雷达脉冲发送和接收单元和雷达信号采集单元。雷达单元包含雷达物理硬件主体、电机马达模组和串口或网络访问模块，电机马达模组用于以一指定的工作频率作旋转运动完成一定角度范围自由度的扫描工作的单元，串口或网络访问模块提供雷达装置3和上述第一处理器2控制信号和雷达测量数据信息的网络通信和传输。上述雷达电源单元是驱动雷达模块工作的电源输入模块。上述雷达脉冲发送和接收单元用于发送激光脉冲信号，并接收反射回的信号，以达到测定手部动作的距离。上述雷达信号采集单元用于采集手部动作的各点坐标，计算形成坐标集合。

第二终端4包括显示屏单元和处理器单元。第二终端4通过串口和/或网络通信方式和雷达装置相连接，同时第二终端4和第一处理器2处于网络连接。显示屏单元第一职能是展现第一处理器发送过来第一终端的用户交互界面的内容，第二职能是此种所述显示屏也用于人机交互输入控制，第一职能为第二职能提供了可见即所得的可视化交互控制。处理器单元负责接收和处理第一处理器2发送过来的第一终端1的用户交互界面的内容，标定和获取雷达装置的装配参数信息，获取手部动作的坐标集合。雷达装置3的装配参数信息指示雷达装置装配点的位置对于第二终端物理屏幕左上顶点的相对位置坐标。

上述的多个第二终端4接入交互服务系统中，向所述第一处理器2分别发送注册接入服务消息，所述注册接入服务消息包括第二终端4的物理屏幕的分辨率大小和第二终端4标定的上述雷达装置3的装配参数信息，所述第二终端4的物理屏幕的分辨率大小指示第二终端4显示屏的交互区域，所述第二终端4标定的上述雷达装置3的装配参数信息指示雷达装置装配点的位置对于第二终端4物理屏幕左上顶点的相对位置坐标(x0，y0)。所述第一处理器2返回所述第一终端1的逻辑分辨率大小和所述第一终端1的屏幕表示和传输单元计算的屏幕表示方法类型指示参数和屏幕表示的数据流。所述第二终端4获取上述第一终端1的逻辑分辨率大小、第一终端1的屏幕表示方法类型指示参数和屏幕表示数据流，进行计算处理和渲染输出至第二终端4显示屏。交互过程中，所述第二终端4获取手部动作的坐标集合传输至所述第一处理器2，所述第一处理器2存储和合并处理所述多个第二终端4同一时刻的坐标集合,坐标计算单元计算在连续时间上不同的坐标点集合的结果，以及预先定义的手势的信息数据和手势对应的动作含义，匹配计算当前的手势动作类型，所述第一处理器2将当前的手势动作类型实时传输至所述第一终端1计算和执行交互指令。

实施例2，雷达装置3物理上就近安装部署于第一终端1周围，第一终端1通过串口和/或网络通信方式和雷达装置3相连接，同时第一终端1和第一处理器2处于网络连接，如图2所示。第一终端1包括显示屏单元和处理器单元，第一终端1的显示屏单元不支持非触控交互，所述显示屏例如LED、LCD、CRT和IPS等液晶屏，投影设备携带的幕布或者白墙等，或者相关材质多个液晶模块组成的拼接屏等，在现有技术条件下不支持触控输入。第一终端1上报雷达装置3的装配参数信息，第一终端1的逻辑分辨率大小，和第一终端1的物理屏幕的分辨率大小等信息到第一处理器2，交互过程中，所述第一终端1获取手部动作的坐标集合传输至所述第一处理器2，所述第一处理器2存储和计算第一终端1的坐标集合，坐标计算单元计算在连续时间上不同的坐标点集合的结果，以及预先定义的手势的信息数据和手势对应的动作含义，匹配计算当前的手势动作类型，所述第一处理器2将当前的手势动作类型实时传输至所述第一终端1计算和执行交互指令。在第一终端1的显示屏上进行触控操作，可实现直接对第一终端1的人机交互控制。另外优选地，在第一终端1的显示屏前安装透明材质的隔板或装置，相应隔板或装置和雷达装置3处于同一平面，本实施例的技术方案实现非接触第一终端1显示屏的隔空交互体验。

实施例3，雷达装置3安装部署的结构示意图，如图3所示。

依据雷达装置3的扫描射程范围，所述雷达装置3的扫描射程范围表示成：[Dmin,Dmax]。上述第二终端4标定的上述雷达装置3的装配参数信息，指示雷达装置3装配点的位置对于第二终端物理屏幕左上顶点的相对位置坐标(x0，y0)，所述装配点的相对第二终端屏幕的相对位置坐标由覆盖第二终端4的交互输入控制屏幕大小和雷达装置3的扫描射程范围[Dmin,Dmax]计算确定。优选地，考虑到雷达的扫描盲区及规格参数，雷达装置3的装配点可选在雷达装置安装位置区域线5及以此线的外部区域处安装，雷达装配点保证交互界面区域范围内最小的扫描距离是Dmin，最大的扫描距离超出Dmax则需在屏幕另外对称一侧安装第二雷达装置3，保证雷达覆盖扫描检测到整个所述第二终端4显示屏的交互区域。

实施例4，可视化人机交互的流程示意图，如图4。

当第一终端1屏幕分辨率大于1920x1080时，本发明采用的技术方案是所述第一终端的屏幕表示和传输单元通过计算用户交互界面中的可操作元素，灰度值采样处理后，经过图像/或视频编码用户交互界面内容；当第一终端屏幕分辨率小于1920x1080时，所述第一终端1的屏幕表示和传输单元通过计算用户交互界面中的可操作元素，彩色采样处理后，经过图像/或视频编码用户交互界面内容。第一处理器2返回所述第一终端1的逻辑分辨率大小和所述第一终端1的屏幕表示和传输单元计算的屏幕表示方法类型指示参数和屏幕表示的数据流。所述第二终端4获取上述第一终端1的逻辑分辨率大小、第一终端1的屏幕表示方法类型指示参数和屏幕表示数据流，进行计算处理和渲染输出至第二终端4显示屏，从而达到可视化的人机交互的技术效果。

以上对本发明及其实施方式进行了描述，这种描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的方案并不局限于此。总而言之如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的方案方式及实施例，均应属于本发明的保护范围。