本发明涉及一种用于人体视觉感知的多任务深度学习方法和系统。
背景技术：
在面向无人摄像的人体视觉感知系统中，需要进行多个任务的分析处理，比如人体的位置、姿态、动作等等要素，将这些综合起来考虑才能决定下一步的拍摄内容。目前的视觉感知系统，往往是各个功能模块单独发挥作用，难以进行整合调节且消耗计算资源非常巨大，因此，在无人拍摄时，难以自动拍摄得到较佳的拍摄画面。
技术实现要素：
本发明要解决的技术问题是提供一种用于人体视觉感知的多任务深度学习方法和系统，节省系统训练以及运行的时间和存储空间，通过多任务融合的思路来让几个子模块相互配合、协作从而提升各个子模块的工作能力，提升整个系统的运行效果。
为了解决上述技术问题，本发明采取以下技术方案：
一种用于人体视觉感知的多任务深度学习方法，该方法基于人体视觉感知系统，人体视觉感知系统包括若干个不同功能的子模块，包括以下步骤：
开启摄像机对目标对象进行拍摄，获取摄像机当前拍摄帧序列；
设置共用基础特征提取模块，通过基础特征提取模块用的深度神经网络提取目标对象的基础特征，将当前拍摄帧序列输入到共用基础特征提取模块，然后作为各个子模块的统一的输入；
序列化训练，利用共用基础特征提取模块用的深度神经网络分别与各个子模块联合训练，根据子模块的功能更新或者不更新该共用基础特征提取模块的深度神经网络参数；
控制各个子模块相互协合工作，使子模块获取到的信息在不同子模块之间相互传送；
控制各个子模块的工作时间。
所述共用基础特征提取模块在深度神经网络不同阶段输出多种不同的基础特征，各个子模块接收共用基础特征提取模块输出的基础特征。
所述各个子模块接收共用基础特征提取模块输出的部分基础特征。
所述序列化训练时，将各个子模块编排好顺序，利用迁移学习的方法，按照编排好的顺序通过共用基础特征提取模块用的深度神经网络分别与各个子模块联合训练。
所述功能不同的子模块的工作时间不相同。
一种用于人体视觉感知的多任务深度学习系统，该系统基于人体视觉感知系统，人体视觉感知系统包括若干个不同功能的子模块，所述系统包括：获取单元，用于获取当前拍摄帧序列；序列化训练单元，用于将共用基础特征提取模块用的深度神经网络分别与各个子模块联合训练，更新或更新共用基础特征提取模块用的深度神经网络参数；协作融合单元，用于控制各个子模块之间相互协作以及多任务融合工作；时间控制单元，用于控制各个子模块的具体工作时间。
本发明具有以下有益效果：
1、通过特征共用，节省了大量的运行时间和存储空间。
2、使用序列化训练各个子模块，与各个子模块单独训练相比，提高了各模块的鲁棒性和精确度。
3、多任务融合，相互协作，可以提升子模块的工作能力和效率，同时提升整个系统的整体效果，具备更鲁棒可靠的感知能力。
附图说明
附图1为本发明实施例一的流程示意图。
具体实施方式
为能进一步了解本发明的特征、技术手段以及所达到的具体目的、功能，下面结合附图与具体实施方式对本发明作进一步详细描述。
本发明揭示了一种用于人体视觉感知的多任务深度学习方法，该方法基于人体视觉感知系统，人体视觉感知系统包括若干个不同功能的子模块，每个子模块对应具有一个对应功能的深度神经网络，该方法包括以下步骤：
开启摄像机对目标对象进行拍摄，获取摄像机当前拍摄帧序列。
设置共用基础特征提取模块，通过基础特征提取模块用的深度神经网络提取目标对象的基础特征，将当前拍摄帧序列输入到共用基础特征提取模块，然后作为各个子模块的统一的输入，使得各个功能不同的子模块都具有一个相同的输入，采用特征共用的方法，将这些子模块中的基础特征提取部分分离出来，由统一的共用基础特征提取模块代替，从而节省数倍的时间和存储空间。
序列化训练，利用共用基础特征提取模块用的深度神经网络分别与各个子模块联合训练，根据子模块的功能更新或者不更新该共用基础特征提取模块的深度神经网络参数。将各个子模块编排好顺序，利用迁移学习的方法，按照编排好的顺序通过共用基础特征提取模块用的深度神经网络分别与各个子模块联合训练。根据预设要求，对部分子模块联合训练好进行参数更新，对于不需要的子模块，则在联合训练后不用更新参数。
控制各个子模块相互协合工作，使子模块获取到的信息在不同子模块之间相互传送，使得不同的子模块之间相互协同工作，实现多任务融合，获取更加准确的结果，提升各个子模块的工作能力，提升整个系统的运行效果。
控制各个子模块的工作时间。使不同的子模块在不同的时间工作，充分发挥不同功能的子模块适时工作。
另外，所述共用基础特征提取模块在深度神经网络不同阶段输出多种不同的基础特征，各个子模块接收共用基础特征提取模块输出的某几种基础特征的组合。
一种用于人体视觉感知的多任务深度学习系统，该系统基于人体视觉感知系统，人体视觉感知系统包括若干个不同功能的子模块，所述系统包括：获取单元，用于获取当前拍摄帧序列；序列化训练单元，用于将共用基础特征提取模块用的深度神经网络分别与各个子模块联合训练，更新或不更新共用基础特征提取模块用的深度神经网络参数；协作融合单元，用于控制各个子模块之间相互协作多任务融合工作；时间控制单元，用于控制各个子模块的具体工作时间。
下面以具体的实施例进行说明。
如附图1所示，人体视觉感知系统包括人体检测模块、人体跟踪模块、姿态估计模块共三个子模块，目标对象为人。姿态估计模块用于检测人的局部信息，人体检测模块和人体跟踪模块是整个人的信息。
按照姿态估计模块、人体检测模块和人体跟踪模块的前后顺序对该三个子模块进行联合训练，将共用基础特征提取模块的深度神经网络对姿态估计模块进行联合训练，更新该共用基础特征提取模块的深度神经网络参数。然后将共用基础特征提取模块的深度神经网络与人体检测模块联合进行训练，更新该共用基础特征提取模块的深度神经网络参数。最后将共用基础特征提取模块的深度神经网络与人体跟踪模块联合进行训练，考虑到人体跟踪模块跟踪的是整个人，它所需要的信息和人体检测模块基本一致，故此时不更新共用基础特征提取模块的深度神经网络参数。
对于各个子模块之间的相互协合工作，人体跟踪模块速度快，结果较平滑，且不会出现丢帧情况，但在复杂场景中，容易跟踪失败。相比而言，人体检测模块精度较高，却容易丢帧。因此在人体跟踪模块工作的过程中，人体检测模块会每隔一定视频帧对当前图像帧进行检测，找到视频中的人体位置，辅助人体跟踪模块的工作，或帮助人体跟踪模块从失败中恢复，从而继续跟踪。另外，姿态估计模块获取了人体更多的监督信息，可以辅助人体检测和人体跟踪模块获得更准确的结果。
另外，对于各个子模块的工作时间，人体跟踪模块对每一帧图像都会进行分析处理，而人体检测和姿态估计模块一般都是间隔一定帧数才分析一次（如每隔k帧），具体间隔帧数，可根据实际情况进行灵活选择。
需要说明的是，以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，但是凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。