一种视听交互智能机器人,属于智能机器人技术领域。
背景技术
目前,现有的普通遥控类机器人,都是通过遥控器控制前进方向,同时只做到通过增加普通摄像头实现普通的二维呈现。一是无法进行3d视觉捕捉,真实世界是一个三维的世界,物体是有景深的,包含更多的信息如声音信息。而现有的机器人,还没有一款可以实现周围环境的3d视觉捕捉和3d视觉呈现,无法呈现立体的效果;二是无法增加格外的ar虚拟信息,通过机器人捕捉的3d视觉,仅仅是对现实世界的一个视觉呈现,在万物互联的云时代,我们其实还需要更多的辅助ar信息。
技术实现要素:
有鉴于此,本发明提供了一种视听交互智能机器人,包括智能呈现终端和智能机器人,其特征在于:智能呈现终端包含视听交互平台和通讯模块,智能机器人包括图像采集模块、声音采集模块、电源模块、动作模块、中央处理模块、伺服驱动电机和定位模块;
图像采集模块包括镜头、图像传感器、图像信号转化单元和3d处理单元;镜头有4个,分别布置在智能机器人的前、后、左、右侧;镜头选择单元,选取一个镜头作为当前处理镜头;图像传感器,将所在位置的当前处理光路的光信号转换为当前处理镜头的数字图像信号,获得当前处理镜头的数字图像;3d处理单元,对镜头的数字图像进行三维图像的处理操作,获得三维数字图像;
声音采集模块包括声音信号传输单元、声音信号处理单元和声音信号储存单元;声音信号传输单元将接收到的声音信号传递到声音信号处理单元;声音信号处理单元将声音信号进行不同级别的放大处理,并对其进行模数转换,声音信号储存单元接收并储存经过模数转换的声音信号;
电源模块分别与图像采集模块、动作模块、中央处理模块、伺服驱动电机和定位模块连接,对其进行电力供应;
中央处理模块分别与图像采集模块、动作模块、定位模块连接,中央处理模块通过通讯模块与视听交互平台连接;
视听交互平台通过通讯模块与智能呈现终端连接,智能呈现终端储存辅助ar信息,图像采集模块安装有图像捕捉算法,视听交互平台安装有呈现算法;
呈现算法将图像向量化,将第i张图像视作由b个色块组成的向量,每个色块对应一个特征项,第j个色块对应特征项tj;dij通过公式一计算:
公式一:
其中,dij为向量di在第j个维度的分量,sij为特征项tj在第i张图像中出现的次数;si为第i张图像中总色块数:z表示图像集合中图像的总数,zj表示包含特征项tj的图像的数目;i和j均为正整数,i≤z,j≤b;
每个特征项tj对应一个表征值wij,表示特征项tj在该图像中的重要程度,表征值wij通过公式二计算:
公式二:
其中,wij的值为第i张图像的特征项tj的表征值,sij为特征项tj在第i张图像中出现的次数;z表示图像集合中图像的总数,zj为图像集合中,包含特征项tj的图像的数目;i和j均为正整数,i≤z,j≤b;
通讯模块为wifi模块、蓝牙模块、4g联网模块中的任一种;
wifi模块同时连接联网的路由器,对智能呈现终端提供网络以及作为移动热点使用;
定位模块包含gps定位模块或北斗定位模块中的任意一种;
本发明提供的一种视听交互智能机器人,其工作原理如下:
视听交互平台通过通讯模块给中央处理模块发送移动指令,来驱动智能机器人的伺服驱动电机运转调节方向和速度;
视听交互平台通过通讯模块来连接图像采集模块和声音采集模块,利用图像采集模块及3d图像捕捉算法进行动态视频3d捕捉,并通过通讯模块回传至智能呈现终端,在视听交互平台上履行3d呈现算法最终实现3d视听呈现,让视听交互平台使用者即使在肉眼看不到位置也可实现对周围环境的3d立体感知;
通过智能呈现终端,可通过智能机器人看到的世界,给使用者呈现强化的的辅助ar信息;
本发明提供的一种视听交互智能机器人,其具体工作步骤如下:
(1)电源模块与动作模块相连,通过电源模块对动作模块提供电力供应;
(2)视听交互平台连接wifi模块,在通过wifi模块连接图像采集模块,由视听交互平台通过wifi通道连接摄像头,进行视距或非视距环境下3d视听呈现;
(3)通过智能呈现终端,在呈现的3d图像上,给使用者呈现强化的的辅助ar信息;
(4)视听交互平台通过通讯模块来传智能机器人移动指令给中央处理模块,并驱动动作模块;
(5)动作模块通过接收的指令,再通过伺服驱动电机,来控制智能机器人的运动方向和速度;
(6)通过gps/北斗定位模块,可对智能机器人进行进行位置定标。
本发明的有益成果为:本发明提供了一种视听交互智能机器人,在所述视听交互平台上履行3d呈现算法最终实现3d视听呈现,让所述视听交互平台的所述使用者即使在肉眼看不到位置也可实现对周围环境的3d立体感知,具有广阔的市场前景和应用价值。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白,以下结合实施例,对本发明进行详细的说明。应当说明的是,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明,能实现同样功能的产品属于等同替换和改进,均包含在本发明的保护范围之内。具体方法如下:
实施例1:一种视听交互智能机器人,包括智能呈现终端和智能机器人,其特征在于:
智能呈现终端包含视听交互平台和通讯模块,智能机器人包括图像采集模块、声音采集模块、电源模块、动作模块、中央处理模块、伺服驱动电机和定位模块;
图像采集模块包括镜头、图像传感器、图像信号转化单元和3d处理单元;镜头有4个,分别布置在智能机器人的前、后、左、右侧;镜头选择单元,选取一个镜头作为当前处理镜头;图像传感器,将所在位置的当前处理光路的光信号转换为当前处理镜头的数字图像信号,获得当前处理镜头的数字图像;3d处理单元,对镜头的数字图像进行三维图像的处理操作,获得三维数字图像;
声音采集模块包括声音信号传输单元、声音信号处理单元和声音信号储存单元;声音信号传输单元将接收到的声音信号传递到声音信号处理单元;声音信号处理单元将声音信号进行不同级别的放大处理,并对其进行模数转换,声音信号储存单元接收并储存经过模数转换的声音信号;
电源模块分别与图像采集模块、动作模块、中央处理模块、伺服驱动电机和定位模块连接,对其进行电力供应;
中央处理模块分别与图像采集模块、动作模块、定位模块连接,中央处理模块通过通讯模块与视听交互平台连接;
视听交互平台通过通讯模块与智能呈现终端连接,智能呈现终端储存辅助ar信息,图像采集模块安装有图像捕捉算法,视听交互平台安装有呈现算法;
通讯模块为wifi模块、蓝牙模块、4g联网模块中的任一种;wifi模块同时连接联网的路由器,对智能呈现终端提供网络以及作为移动热点使用;
定位模块包含gps定位模块或北斗定位模块中的任意一种;
视听交互平台通过通讯模块来连接图像采集模块和声音采集模块,利用图像采集模块及3d图像捕捉算法进行动态视频3d捕捉;
通讯模块将采集的图像和声音信息参数化,传递给智能呈现终端,在视听交互平台上履行3d呈现算法最终实现3d视听呈现,让视听交互平台使用者即使在肉眼看不到位置也可实现对周围环境的3d立体感知;
视听交互平台通过通讯模块给中央处理模块,发送动作指令,中央处理模块控制伺服驱动电机运转来调节运动方向和速度;
通过智能呈现终端,可通过智能机器人看到的世界,给使用者呈现强化的的辅助ar信息。