居家多癌种检测装置和多模态融合模型构建方法及装置与流程

本发明涉及信息检测，尤其涉及一种居家多癌种检测装置和多模态融合模型构建方法及装置。

背景技术：

1、癌症威胁着人类的生命健康。早诊早治，不仅能够大幅提高患者癌症生存率，也能够显著降低社会医疗成本。然而，传统的癌症筛查方法，一般需要患者在体感不适时去医院检查，或者是通过体检机构来实现。对于医疗资源比较紧张的地区，这种方法往往费时费力，且部分情形下患者难以亲自去检查机构进行检查，因此需要便携的居家多癌种检测装置以方便患者居家进行必要的检查。但目前的便携式检测仪器通常针对特定疾病设计，面对复杂多样的居家检测场景，目前的便携式检测仪器难以适应当前的检测需求。

2、此外，目前也出现了一些基于液体活检(试剂盒类)的居家癌症初筛方案。但现有的居家初筛方案，往往局限于某一种检测手段或者模态，而忽视了多模态的信息融合，因此需要构建一种能够精准融合多模态信息从而进行融合分析的融合分析模型，以提升居家初筛的准确性和对后续诊断的指导意义。

技术实现思路

1、本发明提供一种居家多癌种检测装置和多模态融合模型构建方法及装置，用以解决现有技术中目前的便携式检测仪器通常针对特定疾病设计，难以适应当前的检测需求，以及现有的居家初筛方案往往局限于某一种检测手段或者模态，分析结果不准确的缺陷。

2、本发明提供一种居家多癌种检测装置，包括：

3、一个或多个可更换超声探头换能器、多路复用数据传输单元、信号调理电路和系统处理单元；

4、其中，所述可更换超声探头换能器的种类、数量以及参数是基于待检测疾病类型确定的，用于向待检测部位发射超声波信号并采集所述待检测部位反射的回波信号；

5、所述多路复用数据传输单元用于将所述可更换超声探头换能器采集的所述待检测部位反射的回波信号传输至所述信号调理电路，以及用于将所述信号调理电路发送的探测波束模拟信号传输至所述可更换超声探头换能器；

6、所述信号调理电路用于接收所述待检测部位反射的回波信号并将所述回波信号转换为数字信号后传输至所述系统处理单元，以及用于接收所述系统处理单元发送的探测波束并将所述探测波束转换为模拟信号后发送至所述多路复用数据传输单元；

7、所述系统处理单元用于基于所述信号调理电路传输的所述回波信号的数字信号进行波束形成得到探测图像，以及用于生成新的探测波束并将所述新的探测波束发送至所述信号调理电路。

8、根据本发明提供的一种居家多癌种检测装置，所述可更换超声探头换能器具备多模式扫描功能，用于采集多种扫描模式对应的扫描图像。

9、根据本发明提供的一种居家多癌种检测装置，所述居家多癌种检测装置还包括对外数据传输模块、数据存储模块以及供电模块。

10、本发明还提供一种基于上述任一种居家多癌种检测装置的多模态融合模型构建方法，包括：

11、获取所述居家多癌种检测装置采集的样本对象的样本检测部位的样本探测图像；

12、基于所述多模态融合模型的概率分析子模型，对所述样本探测图像进行多标签二分类，得到所述样本探测图像的多标签分类结果，并基于所述样本探测图像的多标签分类结果和标签对所述概率分析子模型进行参数调整，得到训练好的概率分析子模型；

13、基于所述样本对象的所述样本探测图像的多标签分类结果以及所述样本对象的样本生理检测结果和样本个人属性进行特征选择，得到筛选特征；所述筛选特征为所述多标签分类结果指示的各类标签的分类概率、所述样本生理检测结果指示的各类检查检验的检测结果以及所述样本个人属性中的各类属性中的一种或多种特征；

14、基于所述筛选特征构建所述多模态融合模型的融合分类子模型，并基于所述样本对象的所述筛选特征对应的特征值对所述融合分类子模型进行参数调整，得到训练好的融合分类子模型。

15、根据本发明提供的一种多模态融合模型构建方法，所述样本探测图像包括多种扫描模式对应的扫描图像；

16、所述基于所述多模态融合模型的概率分析子模型，对所述样本探测图像进行多标签二分类，得到所述样本探测图像的多标签分类结果，具体包括：

17、基于所述概率分析子模型中的特征提取层，对所述多种扫描模式对应的扫描图像分别进行特征提取，得到所述多种扫描模式对应的扫描图像的图像特征；

18、基于所述概率分析子模型中的信息融合层，对所述多种扫描模式对应的扫描图像的图像特征进行特征融合，得到融合特征，并基于所述融合特征进行多标签二分类，得到所述样本探测图像的多标签分类结果。

19、根据本发明提供的一种多模态融合模型构建方法，所述概率分析子模型中的特征提取层有多个，各个特征提取层分别用于对相应扫描模式对应的扫描图像进行特征提取。

20、根据本发明提供的一种多模态融合模型构建方法，所述基于所述样本对象的所述样本探测图像的多标签分类结果以及所述样本对象的样本生理检测结果和样本个人属性进行特征选择，得到筛选特征，具体包括：

21、对所述样本对象的所述样本探测图像的多标签分类结果以及所述样本对象的样本生理检测结果和样本个人属性进行lasso回归分析，并基于所述多标签分类结果指示的各类标签的分类概率、所述样本生理检测结果指示的各类检查检验的检测结果以及所述样本个人属性中的各类属性中回归系数不为0的特征，确定所述筛选特征。

22、根据本发明提供的一种多模态融合模型构建方法，所述获取所述居家多癌种检测装置采集的样本对象的样本检测部位的样本探测图像，之后还包括：

23、将所述样本对象的样本探测图像输入至数据质控模型，得到所述数据质控模型输出的相应样本探测图像的质量等级以及多标签质量类型；其中，所述样本探测图像的多标签质量类型表征了所述样本探测图像是否模糊以及所述样本探测图像的扫描过程是否合格；

24、若所述样本对象的样本探测图像的质量等级低于预设阈值或者所述样本对象的样本探测图像的多标签质量类型指示所述样本探测图像模糊或所述样本探测图像的扫描过程不合格，则丢弃所述样本对象的样本探测图像。

25、根据本发明提供的一种多模态融合模型构建方法，所述将所述样本对象的样本探测图像输入至数据质控模型，得到所述数据质控模型输出的相应样本探测图像的质量等级以及多标签质量类型，具体包括：

26、基于所述数据质控模型的潜特征提取层，提取所述样本探测图像的潜特征；

27、基于所述数据质控模型的全连接网络，对所述样本探测图像的潜特征进行特征处理，得到所述样本探测图像的全连接特征；

28、基于所述数据质控模型的质量等级评估层，对所述样本探测图像的全连接特征进行质量等级评估，得到所述样本探测图像的质量等级；

29、基于所述数据质控模型的多标签质量类型分类层，对所述样本探测图像的全连接特征进行多标签质量类型分类，得到所述样本探测图像的多标签质量类型。

30、本发明还提供一种基于上述任一种居家多癌种检测装置的多模态融合模型构建装置，包括：

31、图像获取单元，用于获取所述居家多癌种检测装置采集的样本对象的样本检测部位的样本探测图像；

32、概率分析子模型构建单元，用于基于所述多模态融合模型的概率分析子模型，对所述样本探测图像进行多标签二分类，得到所述样本探测图像的多标签分类结果，并基于所述样本探测图像的风险分析结果和标签对所述概率分析子模型进行参数调整，得到训练好的概率分析子模型；

33、特征选择单元，用于基于所述样本对象的所述样本探测图像的多标签分类结果以及所述样本对象的样本生理检测结果和样本个人属性进行特征选择，得到筛选特征；所述筛选特征为所述多标签分类结果指示的各类标签的分类概率、所述样本生理检测结果指示的各类检查检验的检测结果以及所述样本个人属性中的各类属性中的一种或多种特征；

34、融合分类子模型构建单元，用于基于所述筛选特征构建所述多模态融合模型的融合分类子模型，并基于所述样本对象的所述筛选特征对应的特征值对所述融合分类子模型进行参数调整，得到训练好的融合分类子模型。

35、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述多模态融合模型构建方法。

36、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述多模态融合模型构建方法。

37、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述多模态融合模型构建方法。

38、本发明提供的居家多癌种检测装置和多模态融合模型构建方法及装置，通过居家多癌种检测装置，可以便捷地在用户家中进行准确、可靠的检测，且通过种类、数量以及参数均基于待检测疾病类型灵活确定的可更换超声探头换能器，可以灵活应对复杂多样的居家检测场景，针对多种不同类型的待检测疾病类型进行有针对性的检测；此外，基于多模态融合模型的概率分析子模型，对居家多癌种检测装置获取的样本探测图像进行多标签二分类，得到样本探测图像的多标签分类结果，从而对概率分析子模型进行参数调整，得到训练好的概率分析子模型，随后基于样本对象的样本探测图像的多标签分类结果以及样本对象的样本生理检测结果和样本个人属性进行特征选择，得到筛选特征，继而基于筛选特征构建多模态融合模型的融合分类子模型，并基于样本对象的上述筛选特征对应的特征值对融合分类子模型进行参数调整，得到训练好的融合分类子模型，得到具备准确的多模态融合分析能力的多模态融合模型，有助于提高风险筛查的准确性和特异性。