一种非接触式帕金森辅助诊断数据采集装置

本发明涉及医学领域智能化诊断技术，涵盖光机电算软技术领域，特别涉及面部与声学特征检测，差异对比的帕金森辅助诊断装置。

背景技术：

帕金森病(parkinson’sdisease，pd)，又称为“震颤麻痹”，是一种常见的老年神经系统退行性疾病，其医学分级为hoehnyahr量化表，在早期(hy0-2.5)隐蔽性强，不易诊断发现，大多患者进入到中期或者晚期才被确诊为帕金森疾病。

目前不存在诊断帕金森疾病具体测试与具体模型标准，准确诊断的方法复杂，最常用的设备检验方法有对血，脑脊液的高香草酸(hva)含量检测，正电子发射层成像(pet)，单光子发射计算机断层成像(spect)，核磁共振(mri)等，诊断成本高昂，十分依赖医生的经验性判别，难以在早期正确判别

现有技术中还没有对测试者的面部和声音信息进行专门的采集和处理的装置。

技术实现要素：

本发明为克服以上困难与局限性以及为医生提供更多的分析数据，提出了通过多角度采集人脸的面部数据与多空间维度采集阅读特定词汇的声音数据，并对面部数据与声音数据进行处理，特征对比非接触式的解决方案。

本发明技术方案为一种非接触式帕金森辅助诊断数据采集装置，该装置包括：封闭箱体、图像采集装置、声音采集装置、显示器、处理器；所述图像采集装置、声音采集装置、显示器设置于密封箱体内部，图像采集装置、声音采集装置采集的数据由处理器处理，得出判断结果；

所述封闭箱体内包含有照明装置，用于使整个测试目标置于同一光照环境；还用于隔绝外部声音，吸收内部声音；

所述图像采集装置包括2台高分辨率相机、每台高分辨率相机还包括一个安装支架、弧形轨道、控制器，弧形轨道设置于测试目标正前方的地面，弧口朝向测试目标；安装支架底部设置于弧形轨道上，可沿轨道滑动，安装支架伸缩可调，顶部安装高分辨率相机；2台高分辨率相机的初始位置分别与被拍摄测试目标形成15°的夹角；控制器控制安装支架伸缩和在轨道上的滑动；

所述声音采集装置包括6个声音接收器，分别固定于测试目标的前、后、左、右、上、下6个方位；

显示器位于测试目标的正前方，用于显示对测试目标的指令。

进一步的，所述6个声音接收器分布于以测试者头部为中心的同一平面,到测试者头部的距离为5米,其中4个声音接收器分别位于测试者的前、后、左、右四个方向，另外2个声音接收器到测试者头部的连线与测试者目视方向的余弦值为√3，测试者目视前方。

进一步的，所述处理器中采用如下方法对数据进行处理；

步骤1：初始化两台高分辨率相机位置；

步骤2：控制显示器显示对测试目标的指令；

步骤3：控制2台高分辨率相机同时对测试目标进行实时拍摄，然后合成一张完整的脸部图片，其主要目的是模拟人眼双目视觉，获取因单目摄像头不能更全面获取的脸颊信息；

步骤4：控制声音采集装置同时收集测试目标发出的声音；

步骤5：对步骤3得到的完整脸部图片进行分析；

步骤5.1：采用actionunitclassification分析完整脸部图片，计算出面部的表情成分；

步骤5.2：计算测试时间段内测试目标的眨眼次数，以及眨眼频率；

步骤5.3：对面部建立笛卡尔坐标系，通过对上眼睑，内外眼角点，眼轮廓分析，虹膜瞳孔状态，判断出视线的方向及视线移动频率；

步骤6：对应音频数据进行分析；

步骤6.1：对各声音接收器接收的声音振幅进行归一化；

步骤6.2：计算各声音接收器接收的声音频谱宽度；

步骤6.3：计算不同声音接收器两两之间的音频强度的比值；

步骤7：将步骤5和步骤6计算出的数据拟合在同一时间坐标上进行输出。

进一步的，所述步骤3中分析合成后的脸部时，需要对采集的摄像头位置进行双目立体标定，立体校正，其中双目立体标定中双目摄像机需要标定的参数包含摄像机内参数矩阵，畸变系数矩阵，本征矩阵，基础矩阵，旋转矩阵以及平移矩阵，立体校正的目的是把实际中非共面行对准的两幅图像，校正成共面行对准。

本发明分布式音频、图像采集的方式，可以获取批量数据，达到扩展数据集，增强数据稳定性，消除数据量小带来的偶然性，为医生提供更多的诊断数据。

附图说明

图1为模拟受试环境相机固定位置俯视图。

图2为模拟分布式音频收集器固定位置俯视图。

图3为整个解决方案的数据处理程序框图。

具体实施方式

受试者包括帕金森患者与健康人群；

步骤1：示例装置如图1，相机能在弧形轨道4上滑动，两台高分辨率相机2，3放置与受试者1初始夹角为15°，图中可以发现，两个相机分布于受试者两个不同方位，调整相机滑动来标定相机。调节完毕后，受试者按照显示器要求做出相应表情，相机采取数据。

步骤2：分布式音频数据采集如图2，在受试者1的前、后、左、右、方向余弦值为√3的位置放置音频收集器5、6、7、8、9、10，受试者按照医护人员利用软件界面显示在显示器的指示进行相应的字符或汉字发音，同时控制音频采集器进行数据采集与收集。

步骤3：分析采集的图像数据与音频数据，制作数据集；

步骤3-1：图像数据的处理包括表情成分分析，视线方向分析，眨眼分析，利用actionunitclassification分析表情成分(6大基本表情)，通过对上眼睑，内外眼角点，眼轮廓，虹膜瞳孔的捕捉进行视线角度分析，眨眼利用已有或自训练的landmarks进行捕捉分析与计数。图像的分析结果数据主要包括视线角度θ，6大基本表情成分含量c1％、c2％、c3％、c4％、c5％、c6％，眨眼频率efreq。

步骤3-2：音频数据的分析主要包括，各个音频之间的信号强度比值，频谱宽度，时域信号分布函数，利用信号强度比值可直接算出，频谱分析可将时域信号转换到频域，频谱宽度，利用matlab分析时域信号的分布。音频信号的分析结果数据主要有信号强度的比值rat1-rat15,各个信号的频谱宽度freqw1-freqw6(理论上基本一致)，各个分布函数的参数。

步骤3-3：将所有参数制作数据集拟合上时间参数进行显示。

技术特征：

1.一种非接触式帕金森辅助诊断数据采集装置，该装置包括：封闭箱体、图像采集装置、声音采集装置、显示器、处理器；所述图像采集装置、声音采集装置、显示器设置于密封箱体内部，图像采集装置、声音采集装置采集的数据由处理器处理，得出判断结果；

所述封闭箱体内包含有照明装置，用于使整个测试目标置于同一光照环境；还用于隔绝外部声音，吸收内部声音；

所述图像采集装置包括2台高分辨率相机、每台高分辨率相机还包括一个安装支架、弧形轨道、控制器，弧形轨道设置于测试目标正前方的地面，弧口朝向测试目标；安装支架底部设置于弧形轨道上，可沿轨道滑动，安装支架伸缩可调，顶部安装高分辨率相机；2台高分辨率相机的初始位置分别与被拍摄测试目标形成15°的夹角；控制器控制安装支架伸缩和在轨道上的滑动；

所述声音采集装置包括6个声音接收器，分别固定于测试目标的前、后、左、右、上、下6个方位；

显示器位于测试目标的正前方，用于显示对测试目标的指令。

2.如权利要求1所述的一种非接触式帕金森辅助诊断数据采集装置，其特征在于所述6个声音接收器分布于以测试者头部为中心的同一平面,到测试者头部的距离为5米,其中4个声音接收器分别位于测试者的前、后、左、右四个方向，另外2个声音接收器到测试者头部的连线与测试者目视方向的余弦值为测试者目视前方。

3.如权利要求1所述的一种非接触式帕金森辅助诊断数据采集装置，其特征在于所述处理器中采用如下方法对数据进行处理；

步骤1：初始化两台高分辨率相机位置；

步骤2：控制显示器显示对测试目标的指令；

步骤3：控制2台高分辨率相机同时对测试目标进行实时拍摄，然后合成一张完整的脸部图片，其主要目的是模拟人眼双目视觉，获取因单目摄像头不能更全面获取的脸颊信息；

步骤4：控制声音采集装置同时收集测试目标发出的声音；

步骤5：对步骤3得到的完整脸部图片进行分析；

步骤5.1：采用actionunitclassification分析完整脸部图片，计算出面部的表情成分；

步骤5.2：计算测试时间段内测试目标的眨眼次数，以及眨眼频率；

步骤5.3：对面部建立笛卡尔坐标系，通过对上眼睑，内外眼角点，眼轮廓分析，虹膜瞳孔状态，判断出视线的方向及视线移动频率；

步骤6：对应音频数据进行分析；

步骤6.1：对各声音接收器接收的声音振幅进行归一化；

步骤6.2：计算各声音接收器接收的声音频谱宽度；

步骤6.3：计算不同声音接收器两两之间的音频强度的比值；

步骤7：将步骤5和步骤6计算出的数据拟合在同一时间坐标上进行输出。

4.如权利要求1所述的一种非接触式帕金森辅助诊断数据采集装置，其特征在于所述步骤3中分析合成后的脸部时，需要对采集的摄像头位置进行双目立体标定，立体校正，其中双目立体标定中双目摄像机需要标定的参数包含摄像机内参数矩阵，畸变系数矩阵，本征矩阵，基础矩阵，旋转矩阵以及平移矩阵，立体校正的目的是把实际中非共面行对准的两幅图像，校正成共面行对准。

技术总结
本发明公开了一种非接触式帕金森辅助诊断数据采集装置，属于数据采集领域。本发明为克服以上困难与局限性以及为医生提供更多的分析数据，提出了通过多角度采集人脸的面部数据与多空间维度采集阅读特定词汇的声音数据，并对面部数据与声音数据进行处理，特征对比非接触式的解决方案。采用分布式音频、图像采集的方式，可以获取批量数据，达到扩展数据集，增强数据稳定性，消除数据量小带来的偶然性。

技术研发人员：张静;郭权浩;徐帆;杜晓辉;刘霖;刘娟秀;倪光明;刘永
受保护的技术使用者：电子科技大学
技术研发日：2021.03.15
技术公布日：2021.07.06