手机机器人系统及其应用方法
【专利摘要】本发明公开了一种手机机器人系统及其应用方法，该手机机器人系统包括：带蓝牙模块的手机，用于利用所述蓝牙模块发送指令；带蓝牙模块的机器人，用于利用蓝牙模块接收所述指令，根据所述指令执行对应操作。采用本发明能够将手机和机器人分开，降低耦合性，实现模块化，降低成本，提高手机性能。
【专利说明】手机机器人系统及其应用方法
【技术领域】
[0001]本发明涉及通信领域，具体而言，涉及一种手机机器人系统及其应用方法。
【背景技术】
[0002]智能移动机器人，是一个集环境感知、动态决策与规划、行为控制与执行等多功能于一体的综合系统。它集中了传感器技术、信息处理、电子工程、计算机工程、自动化控制工程以及人工智能等多学科的研究成果，代表机电一体化的最高成就，是目前科学技术发展最活跃的领域之一。
[0003]Android是一种以Linux为基础的开放源码操作系统,主要使用于便携设备，具有支持广泛。易于开发的特点，android设备目前相当普遍而且价格便宜。
[0004]目前存在一种手机机器人及其控制方法。它的原理是在现有照相手机的基础上添加了机械运动机构和短距离无线通讯单元，可通过无线通讯的方式接收控制设备的控制指令，由机械运动机构带动该手机进入不方便人直接探测的环境探测图像信息，再由该手机发送给控制设备。一种优选的结构示意图如图1所示，包括中央处理单元1、无线通信单元
2、人/机交流界面单元3、图像信息采集单元4、机械运动机构驱动单元5、传感器组6和蓝牙通讯单元7。
[0005]但是，现有技术存在其无法解决的缺点:手机和机器人固定在一起，耦合性太高，无法模块化，成本太高，手机性能比较差，封闭式的操作系统开发难度大。
[0006]针对相关技术中目前已有的手机机器人的实现方法需要将手机和机器人固定在一起，耦合性太高，无法模块化，成本太高，手机性能比较差，封闭式的操作系统开发难度大的问题，目如尚未提出有效的解决方案。
【发明内容】
[0007]针对目前已有的手机机器人的实现方法需要将手机和机器人固定在一起，耦合性太高，无法模块化，成本太高，手机性能比较差，封闭式的操作系统开发难度大的问题，本发明提供了一种手机机器人系统及其应用方法，以至少解决上述问题。
[0008]根据本发明的一个方面，提供了一种手机机器人系统，包括:带蓝牙模块的手机，用于利用所述蓝牙模块发送指令；带蓝牙模块的手机机器人，用于利用蓝牙模块接收所述指令，根据所述指令执行对应操作。
[0009]优选地，所述手机固定在机器人云台上。
[0010]优选地，所述手机通过蓝牙串口协议与所述手机机器人连接。
[0011]优选地，所述指令包括下列至少之一:远程控制所述手机机器人使用无线网络；识别特定的物体实现充电对接；识别特定的物体实现图像采集；识别特定的物体实现运动跟踪；识别特定的物体实现360图像拼接。
[0012]根据本发明的另一个方面，还提供了一种应用上述手机机器人系统的方法，包括:带蓝牙模块的手机利用所述手机中的蓝牙模块发送指令；带蓝牙模块的手机机器人接收所述手机发送的指令，根据所述指令执行对应操作。
[0013]优选地，所述指令包括下列至少之一:远程控制所述手机机器人使用无线网络；识别特定的物体实现充电对接；识别特定的物体实现图像采集；识别特定的物体实现运动跟踪；识别特定的物体实现360图像拼接。
[0014]优选地，所述指令为远程控制所述手机机器人使用无线网络时，所述手机机器人根据所述指令执行对应操作包括:所述手机机器人接收所述手机发送的HTTP请求信息，进行解析；若获得websocket请求,所述手机机器人提取密匙、解密,组装websocket响应消息并发送至所述无线网络，所述手机机器人websocket握手成功，与所述无线网络建立双工通信；若未获得websocket请求，则所述手机机器人向所述手机返回HTTP响应信息。
[0015]优选地，所述指令为识别特定的物体实现充电对接时，所述手机机器人根据所述指令执行对应操作包括:所述手机机器人获取所述特定的物体的图像并进行处理；当所述手机机器人成功识别与所述特定的物体对应的充电器时，若充电器位于所述图像的中轴线上，则所述手机机器人直线前进对接所述充电器；若所述充电器并未位于所述图像的中轴线上，则原地调整所述手机机器人的方向，并重新获取所述特定的物体的图像。
[0016]优选地，所述指令为识别特定的物体实现360图像拼接时，所述手机机器人根据所述指令执行对应操作包括:所述手机机器人获取所述特定的物体的图像；所述手机机器人根据上一帧图像到这一帧图像的变换矩阵M，整合所述上一帧图像和所述这一帧图像，生成新图像，利用所述新图像替换所述这一帧图像；当所述手机旋转360度时，所述手机机器人输出360度全景图像。
[0017]在本发明实施例中，利用蓝牙模块实现手机与手机机器人间的连接，而不需要将手机和手机机器人直接相连，将机器人具体控制算法和上层应用隔离开，将轮式移动机器人和手机二者集合起来，具有价格便宜、开发方便、功能丰富等诸多特点，将在家庭监控、环境监控、安全监控等方面有着一定的作用，同时也具有一定的学习和研究价值。
【专利附图】
【附图说明】
[0018]此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中:
[0019]图1是根据相关技术的手机机器人的结构示意图；
[0020]图2是根据本发明实施例的手机机器人系统的结构示意图；
[0021]图3是根据本发明实施例的手机机器人系统的应用方法的流程图；
[0022]图4是根据本发明实施例的使用android提供的蓝牙API操作蓝牙设备与机器人蓝牙模块进行连接的流程图；
[0023]图5是根据本发明实施例的在手机和手机机器人间建立蓝牙双工socket连接的具体流程图；
[0024]图6是根据本发明实施例的手机机器人系统如何识别充电器并实现自动对接流程的具体处理流程图；
[0025]图7是根据本发明实施例的实现360度全景图像采集的流程图；
[0026]图8是根据本发明实施例的编码H264和发送视频的流程图；
[0027]图9是根据本发明实施例的手机机器人系统的软件架构示意图。【具体实施方式】
[0028]下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
[0029]相关技术中提及，目前已有的手机机器人的实现方法需要将手机和机器人固定在一起，耦合性太高，无法模块化，成本太高，手机性能比较差，封闭式的操作系统开发难度大。为解决该技术问题，本发明实施例提供了一种手机机器人系统及其应用方法。
[0030]现对本发明实施例提供的手机机器人系统进行详细说明，其结构示意图如图2所示，包括:
[0031]带蓝牙模块的手机201，用于利用蓝牙模块发送指令；
[0032]带蓝牙模块的手机机器人202，与手机201耦合，用于利用蓝牙模块接收手机201发送的指令，根据接收的指令执行对应操作。
[0033]在本发明实施例中，利用蓝牙模块实现手机与手机机器人间的连接，而不需要将手机和手机机器人直接相连，将机器人具体控制算法和上层应用隔离开，将轮式移动机器人和手机二者集合起来，具有价格便宜、开发方便、功能丰富等诸多特点，将在家庭监控、环境监控、安全监控等方面有着一定的作用，同时也具有一定的学习和研究价值。
[0034]另外，相关技术中，由于手机和手机手机器人间必须直接联系，导致手机机器人的智能化程度太低。而利用蓝牙模块将两者分离开，则手机机器人可以达到较高的智能化程度。并且，本发明实施例使用远程访问控制机器人较为方便，不再需要专门的客户端软件才能够实现。
[0035]本发明实施例提供的手机机器人系统适用于具备蓝牙模块的任意类型的手机。Android是一种以Linux为基础的开放源码操作系统，主要使用于便携设备，具有支持广泛。易于开发的特点，android设备目前相当普遍而且价格便宜。因此，优选的，本发明实施例提供的手机机器人系统适用于android手机。
[0036]上文提及，手机201和手机机器人202是分开的，并不需要直接连接，因此，在一个优选的实施例中，带蓝牙模块的手机201可以选择固定在机器人云台上。
[0037]由于优选的实施例中，手机201和手机机器人202是通过蓝牙模块相耦合，则两者可以通过蓝牙串口协议进行连接。若蓝牙模块还可以适用其他协议，该协议也可以用于在手机和手机机器人间进行通信。
[0038]手机可以发出的、由手机机器人实施的指令可以有多种，例如，让手机机器人拍照、收集标本等。优选的，上述指令可以包括下列至少之一:
[0039]远程控制手机机器人使用无线网络；
[0040]识别特定的物体实现充电对接；
[0041 ] 识别特定的物体实现图像采集；
[0042]识别特定的物体实现运动跟踪；
[0043]识别特定的物体实现360图像拼接。
[0044]基于同一发明构思，本发明实施例还提供了一种应用上述手机机器人系统的方法，其处理流程如图3所示，包括:
[0045]步骤S301、带蓝牙模块的手机利用手机中的蓝牙模块发送指令；[0046]步骤S302、带蓝牙模块的手机机器人接收手机发送的指令，根据指令执行对应操作。
[0047]上文提及，优选的，手机发出的指令可以包括下列至少之一:
[0048]远程控制手机机器人使用无线网络；
[0049]识别特定的物体实现充电对接；
[0050]识别特定的物体实现图像采集；
[0051]识别特定的物体实现运动跟踪；
[0052]识别特定的物体实现360图像拼接。
[0053]现对上述指令涉及的具体流程进行说明。
[0054]当指令为远程控制手机机器人使用无线网络时，手机机器人根据指令执行对应操作包括如下步骤:
[0055]手机机器人接收手机发送的HTTP请求信息，进行解析；
[0056]若获得websocket请求,手机机器人提取密匙、解密，组装websocket响应消息并发送至无线网络，手机机器人websocket握手成功，与无线网络建立双工通信；
[0057]若未获得websocket请求，则手机机器人向手机返回HTTP响应信息。
[0058]当指令为识别特定的物体实现充电对接时，手机机器人根据指令执行对应操作包括如下步骤:
[0059]手机机器人获取特定的物体的图像并进行处理；
[0060]当手机机器人成功识别与特定的物体对应的充电器时，若充电器位于图像的中轴线上，则手机机器人直线前进对接充电器；
[0061]若充电器并未位于图像的中轴线上，则原地调整手机机器人的方向，并重新获取特定的物体的图像。
[0062]当指令为识别特定的物体实现360图像拼接时，手机机器人根据指令执行对应操作包括如下步骤:
[0063]手机机器人获取特定的物体的图像；
[0064]手机机器人根据上一帧图像到这一帧图像的变换矩阵M，整合上一帧图像和这一帧图像，生成新图像，利用新图像替换这一帧图像；
[0065]当手机旋转360度时,手机机器人输出360度全景图像。
[0066]为将本发明实施例提供的手机机器人系统的应用方法阐述地更清楚更明白，现以具体实施例对其进行说明。
[0067]实施例一
[0068]在本实施例中，android手机通过蓝牙串口协议与移动机器人连接,并且android手机固定在移动机器人云台上。
[0069]使用android提供的蓝牙API操作蓝牙设备与机器人蓝牙模块进行连接，具体的连接过程如图4所示，包括:
[0070]步骤1、开启蓝牙搜索；
[0071]步骤2、判断是否搜索到手机机器人蓝牙，若是，则输入密码连接到手机机器人，若否，则连接失败；
[0072]步骤3、连接到机器人手，通知手机连接成功；[0073]步骤4、在手机和手机机器人间建立蓝牙双工socket连接。
[0074]其中，远程控制手机机器人可以使用wif1、3G网络。客户端访问android手机机器人采用标准的tcp/ip协议族的httpl.0协议。android手机上运行嵌入式Webserver,支持http推送。客户端使用标准的因特网浏览器即可。
[0075]其中，在手机和手机机器人间建立蓝牙双工socket连接的具体流程请参见图5，包括如下步骤:
[0076]步骤1、手机机器人接收HTTP请求信息；
[0077]步骤2、手机机器人解析HTTP信息；
[0078]步骤3、手机机器人判断解析得到的是否是websocket请求，若是，则提取密钥、解密，组装成websocket响应信息，若否则直接向手机返回HTTP响应信息；
[0079]步骤4、手机机器人向手机发送websocket响应信息；
[0080]步骤5、手机机器人和手机websocket握手成功,建立双工通信。
[0081]由上述流程可知，本实施例中android手机和机器人机械上相分离，通过使用专门的机器人指令协议与机器人通信。
[0082]上文提及，本发明实施例提供的手机机器人系统智能化程度较高，在android手机上使用了图像处理、机器学习等技术，能够自动识别特定的物体实现充电对接、运动跟踪、360图像拼接等功能。现以各实施例对不同的功能进行说明。
[0083]实施例二
[0084]本实施例讲述手机机器人系统如何识别充电器并实现自动对接流程，其具体处理流程请参见图6，包括:
[0085]步骤1、开启手机机器人的充电器对接功能；
[0086]步骤2、手机机器人采集YUV420SP视频帧；
[0087]步骤3、手机机器人进行图像预处理滤波除噪；
[0088]步骤4、手机机器人识别充电器；
[0089]步骤5、若识别成功，则进一步判断充电器是否位于图像中轴线，若识别不失败，则通知手机对接失败；
[0090]步骤6、若充电器位于图像中轴线，则手机机器人沿着正前方直线行走dl米，若充电器不位于图像中轴线，则原地调整机器人方向a度，并重新采集YUV420SP视频帧；
[0091]步骤7、在充电器位于图像中轴线的情况下，手机机器人进行测距，确认充电器与机器人距离是否小于D，若是，则机器人直线前进对接充电器，若否，则重新采集YUV420SP视频帧。
[0092]实施例三
[0093]本实施例讲述手机机器人系统如何实现360度全景图像采集流程，其具体处理流程请参见图7，包括:
[0094]步骤1、手机机器人获取图像；
[0095]步骤2、手机机器人将获取的图像转换为RGB颜色；
[0096]步骤3、手机机器人进行FAST角点检测获特征；
[0097]步骤4、手机机器人利用光流法计算出上一帧图像的特征点和这一帧图像的特征点的光流向量；[0098]步骤5、手机机器人使用RANSAC方法计算这些光流向量，计算出上一帧图像到这一阵图像的变换矩阵M ;
[0099]步骤6、手机机器人根据M，融合上一帧图像和这一帧图像，生成新图像，新图像替换当前这一帧图像；
[0100]步骤7、手机机器人确定当前是否将手机旋转到360度，若是，则计算完成，输出360度全景图像，若否，则重新获取图像。
[0101]实施时，android手机采集标准的h264视频。移植H264core库到android,将YUV420SP编码为H264帧。修改裁剪H264编码核心C代码，编写jni调用C语言函数接口，编写Android, mk文件,使用android ndk R5将代码编译成函数库。其中，编码H264和发送视频流程如图8所示，包括:
[0102]步骤1、采集一帧 YUV420SP ；
[0103]步骤2、将YUV420SP帧编码为H264帧；
[0104]步骤3、将H264帧封装为HTTP信息；
[0105]步骤4、推送到HTTP客户端(浏览器)。
[0106]实施例四
[0107]本发明实施例提供的手机机器人系统涉及的软件架构图如图9所示，各层的结构以及层次关系请参见图9。
[0108]其中，软件架构可以分为四层，从上到下，依次为决策层、行为层、指令协解析层、硬件通讯层。
[0109]决策层是机器人本地最高层，仲裁决定对象根据机器人传感器数据、机器人运行状态和远程端发送的指令数据进行各种行为组织。
[0110]行为层，这一层是一些抽象的行为对象，这些对象通过对协议对象的传感器数据进行局部规划，并操作协议对象向机器人底层发送控制指令。
[0111]指令协议层，负责将行为层的行为命令转换为机器人协议命令，负责将机器人返回的传感器数据进行封装。
[0112]硬件通讯层，这一层是直接与硬件设备通信的对象，这里包括直接与机器人实体通信的蓝牙对象。
[0113]本发明技术方案带来的有益效果:综上可知，本发明实施例提供了一套比较好的android手机和移动机器人绑定的方案，手机和机器人相分离、模块化，充分利用了移动机器人的随时移动的性能和android手机软件开发方便的特点，提供了一些智能化的功能，同时提供了方便的远程访问控制方法，较好的解决了相关技术中提到的手机机器人的缺点。
[0114]从以上的描述中，可以看出，本发明实现了如下技术效果:
[0115]在本发明实施例中，利用蓝牙模块实现手机与手机机器人间的连接，而不需要将手机和手机机器人直接相连，将机器人具体控制算法和上层应用隔离开，将轮式移动机器人和手机二者集合起来，具有价格便宜、开发方便、功能丰富等诸多特点，将在家庭监控、环境监控、安全监控等方面有着一定的作用，同时也具有一定的学习和研究价值。
[0116]显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
[0117]以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【权利要求】
1.一种手机机器人系统，其特征在于，包括: 带蓝牙模块的手机，用于利用所述蓝牙模块发送指令； 带蓝牙模块的手机机器人，用于利用蓝牙模块接收所述指令，根据所述指令执行对应操作。
2.根据权利要求1所述的手机机器人系统，其特征在于，所述手机固定在机器人云台上。
3.根据权利要求1所述的手机机器人系统，其特征在于，所述手机通过蓝牙串口协议与所述手机机器人连接。
4.根据权利要求1至3任一项所述的手机机器人系统，其特征在于，所述指令包括下列至少之一: 远程控制所述手机机器人使用无线网络； 识别特定的物体实现充电对接； 识别特定的物体实现图像采集； 识别特定的物体实现运动跟踪； 识别特定的物体实现360 图像拼接。
5.一种应用权利要求1至4的手机机器人系统的方法，其特征在于，包括: 带蓝牙模块的手机利用所述手机中的蓝牙模块发送指令； 带蓝牙模块的手机机器人接收所述手机发送的指令，根据所述指令执行对应操作。
6.根据权利要求5所述的方法，其特征在于，所述指令包括下列至少之一: 远程控制所述手机机器人使用无线网络； 识别特定的物体实现充电对接； 识别特定的物体实现图像采集； 识别特定的物体实现运动跟踪； 识别特定的物体实现360图像拼接。
7.根据权利要求6所述的方法，其特征在于，所述指令为远程控制所述手机机器人使用无线网络时，所述手机机器人根据所述指令执行对应操作包括: 所述手机机器人接收所述手机发送的HTTP请求信息，进行解析； 若获得websocket请求,所述手机机器人提取密匙、解密,组装websocket响应消息并发送至所述无线网络，所述手机机器人websocket握手成功，与所述无线网络建立双工通f目; 若未获得websocket请求，则所述手机机器人向所述手机返回HTTP响应信息。
8.根据权利要求6所述的方法，其特征在于，所述指令为识别特定的物体实现充电对接时，所述手机机器人根据所述指令执行对应操作包括: 所述手机机器人获取所述特定的物体的图像并进行处理； 当所述手机机器人成功识别与所述特定的物体对应的充电器时，若充电器位于所述图像的中轴线上，则所述手机机器人直线前进对接所述充电器； 若所述充电器并未位于所述图像的中轴线上，则原地调整所述手机机器人的方向，并重新获取所述特定的物体的图像。
9.根据权利要求6所述的方法，其特征在于，所述指令为识别特定的物体实现360图像拼接时，所述手机机器人根据所述指令执行对应操作包括: 所述手机机器人获取所述特定的物体的图像； 所述手机机器人根据上一帧图像到这一帧图像的变换矩阵M，整合所述上一帧图像和所述这一帧图像，生成新图像，利用所述新图像替换所述这一帧图像； 当所述手机旋转360度 时，所述手机机器人输出360度全景图像。
【文档编号】G08C17/02GK103533149SQ201210228729
【公开日】2014年1月22日 申请日期:2012年7月2日 优先权日:2012年7月2日
【发明者】张方杰, 唐冬冬 申请人:北京赛佰特科技有限公司