一种基于NAO机器人的音视频数据采集系统的制作方法

本发明属于人机交互、软件开发、通信技术领域，涉及nao(仿人智能)机器人音视频收集技术和数据端到端传输技术，尤其涉及一种基于nao机器人的音视频数据采集系统。

背景技术：

目前在关于机器人音视频数据收集系统方面，在国内，山东大学是基于井下探测机器人的音视频数据收集，而且该收集系统不能迁移到nao机器人的音视频数据收集，并且在系统的模块化与工程化上尚有欠缺。东南大学是基于微型侦察机器人的音视频数据收集，同样该系统也不能迁移到nao机器人的平台上。

在国外，已开发出针对于日本hrp-2(仿人机器人)仿人机器人的音视频收集系统hark(开源机器人视听软件)。各种类型的机器人编程接口是不一样的，其他机器人的音视频收集系统不能相互之间迁移使用。

国内没有针对于nao机器人的音视频数据收集系统的开发。但是由于nao机器人自身带有双目摄像头及多麦克风，因此可以收集到更丰富的更有效的音视频数据，以供后续研究。

技术实现要素：

本发明提供了一种基于nao机器人的音视频数据采集系统，本发明设计了开发图形界面的音视频收集系统，在室内、室外等多个环境下，通过控制nao机器人的双目摄像头和麦克风进行音视频数据的收集，以填补在nao机器人音视频数据收集方面的空白，详见下文描述：

一种基于nao机器人的音视频数据采集系统，所述系统通过控制nao机器人的双目摄像头和麦克风进行音视频数据的收集，所述系统包括：

音频收集模块，用于控制机器人进行音频数据的收集，选择声道，并将收集到的数据传输到pc端进行可选路径的保存；

视频收集模块，用于控制机器人进行视频数据的收集，实时显示摄像头图像并将收集到的数据传输到pc端进行可选路径的保存；

音视频收集模块，用于控制机器人同时进行音视频数据的收集，选择声道，实时显示摄像头的图像，并将收集到的数据传输到pc端进行可选路径的保存；

音频播放模块，用于选择已录制保存的音频文件进行播放，供使用者查看；

视频播放模块，用于选择已录制保存的视频文件进行播放，供使用者查看。

本发明提供的技术方案的有益效果是：

1、本系统实现了更为人性化的图形界面系统，让用户能够更自然的操作nao机器人进行音频、视频、音视频数据同步收集，并将收集到的数据保存到与nao机器人相连接的pc中，以便用于后续的数据分析工作；

2、本系统在采集机器人的视频数据时，会出现如图2的系统界面，界面上会记录录制时长，在点击开始录制按钮之后会出现如图3所示的界面，在系统界面上会实时显示机器人摄像头的图像，同时还进行视频数据和音频数据的同步传输，延时率很低；

3、本系统还增加了音视频数据的播放功能，可以对播放的进度条进行操作，音量大小也可控制，还可以进行快进和后退的操作如图4所示；本系统确保可以在不同的pc上运行，确保可以控制不同nao机器人进行音视频数据的收集；

4、本系统的实现，可以为后续nao机器人的研究提供进一步的方便，机器人要想变得更加智能，更好的为人类服务，需要大量可靠的音视频数据来进行分析；本系统的实现正是为该方面的探究奠定了基础，为之后的分析获取了大量的实验信息，同时填补在nao机器人音视频数据获取方面的空白。

附图说明

图1为一种基于nao机器人的音视频数据采集系统的结构示意图；

图2为视频收集效果图；

图3为视频录制中摄像头图像；

图4为音频播放效果图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

实施例1

一个基于nao机器人的图形界面音视频数据收集系统，参见图1，该系统包括以下部分：

音频收集模块：控制机器人进行音频数据的收集，选择声道，并将收集到的数据传输到运行系统的pc端进行可选路径的保存。

视频收集模块：控制机器人进行视频数据的收集，实时显示摄像头图像并将收集到的数据传输到运行系统的pc端进行可选路径的保存。

音视频收集模块：控制机器人同时进行音视频数据的收集，选择声道，实时显示摄像头的图像，并将收集到的数据传输到运行系统的pc端进行可选路径的保存。

音频播放模块：选择已录制保存的音频文件进行播放，供使用者查看。

视频播放模块：选择已录制保存的视频文件进行播放，供使用者查看。

在系统中，音频收集模块是进行音频数据的收集，具体过程如下：

首先设置机器人和pc的ip，确保在同一局域网中。然后在界面上选择所要录制的声道，开始进行录制。音频数据会实时从机器人端传输到pc端，结束录制同时数据在pc中保存。

在系统中，视频收集模块和音频收集模块是相互独立的两个部分，该视频收集模块负责视频数据的收集，具体过程如下：

首先设置机器人和pc的ip，确保在同一局域网中。开始录制后机器人摄像头图像会实时显示在图形界面上，视频数据会实时从机器人端传输到pc端，结束录制同时数据在pc中保存。

在系统中，音视频收集模块与音频收集模块和视频收集模块是相互独立的部分，该音视频收集模块负责同时收集音视频数据，具体过程如下：

首先设置机器人和pc的ip，确保在同一局域网中。开始录制后机器人摄像头图像会实时显示在图形界面上，同时音频数据会实时从机器人端传输到pc端，结束录制同时数据在pc中保存。

在系统中，音频播放模块是在音频收集模块的基础上，对收集到的音频文件进行播放，具体过程如下：

用户可选择已录制好的音频文件开始播放，在播放界面中显示的进度条用户可以随意拖动，同时还可以手动控制音量的进度条进而控制音量大小，最后结束音频播放。

在系统中，视频播放模块是在视频收集模块和音视频收集模块的基础上对收集到的视频文件进行播放，具体过程如下：

用户可选择已录制好的音频文件开始播放，在播放界面中显示的进度条用户可以随意拖动，同时还可以手动控制音量的进度条进而控制音量大小，最后结束音频播放。

综上所述，本发明实施例设计了开发图形界面的音视频收集系统，在室内、室外等多个环境下，通过控制nao机器人的双目摄像头和麦克风进行音视频数据的收集，以填补在nao机器人音视频数据收集方面的空白。

实施例2

下面结合具体的操作步骤，图2-图4对实施例1中的方案进行进一步地介绍，详见下文描述：

步骤s0101：音频数据的收集，选择声道，并将收集到的数据传输到运行系统的pc端进行可选路径的保存，并且在收集过程中可以显示已录制时间。

机器人连接原理为使用naoqiapi中alaudiorecorderproxy接口(为本领域技术人员所公知，本发明实施例对此不做赘述)，创建该类，参数为机器人ip地址和端口；

控制机器人进行音频数据录制原理为使用naoqiapi中alaudiorecorderproxy接口的调用；

将数据存储到pc使用的是ftp传输的ftpwebrequest和ftpwebresponse接口(为本领域技术人员所公知，本发明实施例对此不做赘述)，发送端为机器人nao，接收端为pc。

步骤s0102：除了对视频数据收集外，还增加了实时显示摄像头图像的功能。

机器人连接原理为使用naoqiapi中alaudiorecorderproxy接口，创建该类，参数为机器人ip地址和端口；

控制机器人进行音频数据录制原理为使用naoqiapi中alaudiorecorderproxy接口的调用；

将数据存储到pc使用的是ftp传输的ftpwebrequest和ftpwebresponse接口，发送端为机器人nao，接收端为pc。

摄像头图像实时显示(python语言开发)使用pyqt设计图形界面，opencv实时显示图像。

步骤s0103：将音频收集和视频收集结合在一起，并且让两种数据的收集同步进行，在各自的收集上既包括音频收集的声道选择，又包括视频收集的实时图像显示。

机器人连接原理是同时使用机器人naoqiapi中alaudiorecorderproxy接口和alvideorecorderproxy接口，通过接口创建类，参数为机器人ip地址和端口。在开始收集和停止收集上同样是分别调用对应类的函数，并且通过时间戳来判断已收集时间。

步骤s0104：选择已录制保存的音频文件进行播放，供使用者查看。其中用到c#窗体部件以及libvlc库中vlcplayer接口；

步骤s0105：选择已收集到的视频文件进行播放。其中用到c#窗体部件以及libvlc库中vlcplayer接口；

本机器人音视频数据收集系统的实现，填补了nao机器人音视频数据收集方面的空白，应用该系统以更加人性化的操作采集nao机器人的音视频数据，同时确保机器人端和pc端数据的实时传输，将数据存储到pc端，以便后续对音视频数据的分析研究。

图2是在系统界面上选择视频录制之后弹出的视频录制界面，在界面上可选择对录制的控制按钮来开始、停止、保存。界面上还会显示录制的时长，及当前机器人的ip地址。

图3是在视频录制界面点击开始录制按钮之后出现的界面，从图3中可以看出摄像头的图像实时显示在了界面上。

图4是在系统界面选择音频播放后出现的界面，如图4所示在界面中可选择要播放的音频文件，还有对播放的一些控制按钮。

本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。