一种基于音频特征的多模态同步行为数据采集系统的制作方法
【专利摘要】本实用新型涉及一种基于音频特征的多模态同步行为数据采集系统，包括Kinect数据采集子系统、8机位高清摄像头数据采集子系统、动作捕捉数据采集子系统、眼动仪数据采集子系统、第一同步模块、第二同步模块和处理器，所述Kinect数据采集子系统、8机位高清摄像头数据采集子系统和眼动仪数据采集子系统的输出端接第一同步模块的输入端，第一同步模块的输出端与动作捕捉数据采集子系统的输出端接第二同步模块的输入端，第二同步模块的输出端接处理器。本实用新型的数据采集系统能够同时采集多类数据，并对这些数据进行同步处理，避免了以往数据采集系统只采集一类数据的问题。
【专利说明】
一种基于音频特征的多模态同步行为数据采集系统
技术领域
[0001]本实用新型涉及数据采集及数据同步领域，更具体地是一种基于音频特征的多模态同步行为数据采集系统。
【背景技术】
[0002]如今，医疗、心理领域和计算机科学的结合越来越频繁，有许多疾病需要患者的语音数据和行为数据来帮助诊断和治疗。在心理测验上有关语言、行为上的数据需求更加频繁，而现有的医疗实验或者心理测验许多是靠人工进行数据采集和录入的，这耗费了大量的人力和时间。
[0003]目前比较广泛应用的数据采集系统有语音数据采集系统和眼动仪数据采集系统等，语音采集系统常用于实验中采集实验人员的语言，语音，声音强度等数据，眼动仪数据采集系统则常用于实验中采集实验人员眼球关注点，眼球运动轨迹等数据。但这些数据采集系统只采集一类数据，或者不同时间采集几类数据，无法满足许多实验对多类数据同时采集的要求。
【实用新型内容】
[0004]本实用新型所要解决的技术问题是克服现有技术中的不足，提供一种同时采集多类数据的基于音频特征的多模态同步行为数据采集系统。
[0005]为解决现有技术问题，本实用新型采用的技术方案是:
[0006]—种基于音频特征的多模态同步行为数据采集系统，包括Kinect数据采集子系统、8机位高清摄像头数据采集子系统、动作捕捉数据采集子系统、眼动仪数据采集子系统、第一同步模块、第二同步模块和处理器，所述Kinect数据采集子系统、8机位高清摄像头数据采集子系统和眼动仪数据采集子系统的输出端接第一同步模块的输入端，第一同步模块的输出端与动作捕捉数据采集子系统的输出端接第二同步模块的输入端，第二同步模块的输出端接处理器。所述Kinect数据采集子系统采集实验过程中的彩色数据、深度数据、红外数据和音频数据;所述8机位高清摄像头数据采集子系统从实验室的8个方位采集视频数据和音频数据;所述动作捕捉数据采集子系统采集实验人员的动作行为数据;所述眼动仪数据采集子系统采集实验人员的眼动数据和音频数据。这里，第一同步模块对Kinect数据采集子系统、8机位高清摄像头数据采集子系统和眼动仪数据采集子系统所采集音频数据进行同步处理，第二同步模块将第一同步模块同步处理过的音频数据和动作捕捉数据采集子系统采集的动作行为数据进行同步处理，从而实现对系统采集数据的同步处理。本实用新型的数据采集系统能够同时采集多类数据，并对这些数据进行同步处理，避免了以往数据采集系统只采集一类数据的问题。
[0007]所述Kinect数据采集子系统的系统设备为Kinect for Windows 2.0，相比较第一代Kinect，它具有更高深度保真的深度传感数据，能清晰地看到更小的物体以及提高骨骼追踪的稳定性，还新增了活跃的红外线，进一步提高了识别动作的能力，降低了对光线强度实验环境的要求。
[0008]所述8机位高清摄像头数据采集子系统包括硬压缩高清音视频采集卡和高清摄像头，所述硬压缩高清音视频采集卡设有音频和视频接口，所述高清摄像头通过硬压缩高清音视频采集卡与后台电脑连接。
[0009]所述动作捕捉数据采集子系统包括设置在实验人员关键部位的传感器，所述传感器连接后台电脑。这里，所述传感器通过光学原理采集到实验人员的动作行为数据，可有效避免实验人员的动作未被拍摄的情形。
[0010]所述眼动仪数据采集子系统采用的眼动仪为头戴式眼动仪，同时还包括与眼动仪连接的电脑，所述眼动仪的数据分析系统安装在此电脑上。
[0011]与现有技术相比，本实用新型的数据采集系统能够同时采集多类数据，同时基于多模态数据的音频特征进行数据同步处理，为整合多类数据进行研究提供了保证，有效避免了以往数据采集系统只采集一类数据的问题。
【附图说明】
[0012]附图1是本实用新型实施例的系统框图。
[0013]附图2是本实用新型实施例的俯视图。
【具体实施方式】
[0014]以下结合附图对本实用新型做进一步的解释说明。附图仅用于示例性说明，不能理解为对本实用新型的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小;对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
[0015]如图1所示的基于音频特征的多模态同步行为数据采集系统，包括Kinect数据采集子系统、8机位高清摄像头数据采集子系统、动作捕捉数据采集子系统和眼动仪数据采集子系统，所述Kinect数据采集子系统、8机位高清摄像头数据采集子系统、动作捕捉数据采集子系统和眼动仪数据采集子系统分别与后台电脑连接。所述Kinect数据采集子系统采集实验过程中的彩色数据、深度数据、红外数据和音频数据;所述8机位高清摄像头数据采集子系统从实验室的8个方位采集视频数据和音频数据;所述动作捕捉数据采集子系统采集实验人员的动作行为数据;所述眼动仪数据采集子系统采集实验人员的眼动数据和音频数据。
[0016]如图2为实际搭建本采集系统的俯视示意图，所述Kinect数据采集子系统选取了Kinect for Windows2.0作为系统设备。Kinect2的USB连接线长度不够，所以将两台Kinect2放置在实验室右上角离观察室中的所配置的电脑I，电脑2距离近的位置，另在采集数据过程中两台Kinect如果相互垂直采集数据，会对深度红外数据有影响，所以将两台Kinect2放置成120度，能覆盖采集到整个实验室。
[0017]所述8机位高清摄像头数据采集子系统选用了硬压缩高清音视频采集卡和配套的8个高清摄像头，这里实验室外面一层为选用的8个高清摄像头。每块采集卡含有4路音频及4路视频接口，可以同步的采集4路视频数据以及4路音频数据，并且将视频和音频流采用硬压缩的方式快速存储数据至电脑中。由于硬压缩不消耗电脑内存占用资源，将两块采集卡安装至电脑I和电脑2的PCI插槽中，将每4个高清摄像头连接至I块音视频采集卡上，连接电源线和SDI线，完成安装，每台电脑控制I台Kinect和4个高清摄像头。
[0018]所述动作捕捉数据采集子系统选用了6机位的光学动作捕捉系统，传感器为动作捕摄像头。实验室里面一层6个摄像头为动作捕捉数据采集系统的动作捕摄像头，其连接到观察室中的系统工作站电脑3。
[0019]所述眼动仪数据采集子系统，选用了美国被动头戴式眼动仪，不同于国内常见的固定式眼动仪，它能够让实验人员自由行动，极大地保证了实验人员在数据采集过程中的自然状态。眼动仪系统总的包括一个头戴式眼动仪，一台Macbook笔记本和一台iMac电脑，所述头戴式眼动仪与Macbook笔记本连接，Macbook笔记本与iMac电脑无线连接，眼动仪的数据分析系统安装在Macbook笔记本上。
[0020]显然，本实用新型的上述实施例仅仅是为清楚地说明本实用新型所作的举例，而并非是对本实用新型的实施方式的限定。在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无需也无法对所有的实施方式予以穷举。凡在本实用新型的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本实用新型权利要求的保护范围之内。
【主权项】
1.一种基于音频特征的多模态同步行为数据采集系统，其特征在于，包括Kinect数据采集子系统、8机位高清摄像头数据采集子系统、动作捕捉数据采集子系统、眼动仪数据采集子系统、第一同步模块、第二同步模块和处理器，所述Kinect数据采集子系统、8机位高清摄像头数据采集子系统和眼动仪数据采集子系统的输出端接第一同步模块的输入端，第一同步模块的输出端与动作捕捉数据采集子系统的输出端接第二同步模块的输入端，第二同步模块的输出端接处理器。2.根据权利要求1所述的基于音频特征的多模态同步行为数据采集系统，其特征在于，所述Kinect数据采集子系统的系统设备为Kinect for Windows 2.0。3.根据权利要求1所述的基于音频特征的多模态同步行为数据采集系统，其特征在于，所述8机位高清摄像头数据采集子系统包括硬压缩高清音视频采集卡和高清摄像头，所述硬压缩高清音视频采集卡设有音频和视频接口，所述高清摄像头通过硬压缩高清音视频采集卡与处理器连接。4.根据权利要求1所述的基于音频特征的多模态同步行为数据采集系统，其特征在于，所述动作捕捉数据采集子系统包括传感器，所述传感器连接处理器。5.根据权利要求1所述的基于音频特征的多模态同步行为数据采集系统，其特征在于，所述眼动仪数据采集子系统采用的眼动仪为头戴式眼动仪。
【文档编号】H04N7/18GK205647785SQ201620172514
【公开日】2016年10月12日
【申请日】2016年3月7日
【发明人】李明, 颜瑞阳
【申请人】广东顺德中山大学卡内基梅隆大学国际联合研究院, 中山大学