交互方法、装置、电子设备及存储介质与流程

1.本发明涉及图像处理与自动化技术领域，尤其涉及一种交互方法、装置、电子设备及存储介质。


背景技术：

2.目前医疗科技快速发展，使用医疗射线仪器可清晰反映患者情况，便于医生进行诊治，但是目前主流的医疗射线仪器并未与相机相结合，因此在对患者进行放射检查时，需要医生手动调整医疗设备，并反复确认患者的摆位姿势，极大的影响拍摄效率与患者健康。
3.现有技术中也存在一些结合相机的医疗射线仪器，但是一部分是将患者摆位情况利用显示器进行单纯的传递，并没有考虑到细节部位，因此拍摄结果仍不理想；另一部分则是将获取的视频流显示在显示器中，同时添加了人体到位的识别、头部旋转角度的识别、身体倾斜角度的识别以及左右居中的距离等。但是这些只是一些提示信息，并不支持医生对于细节的调节。
4.因此，如何更便捷地调整医疗射线仪器以显示更准确的患者信息，进而提高诊断效率一直是一个亟待解决的问题。


技术实现要素：

5.有鉴于此，有必要提供一种交互方法，用以解决如何便捷地调整医疗射线仪器，以提高诊断效率的问题。
6.为了解决上述问题，本发明提供一种交互方法，包括：
7.获取包括有目标对象的实时图像；
8.基于目标对象绘制目标图元，以使目标图元与实时图像显示在可视化界面内；
9.接收对目标图元的调节指令，以使调节执行设备响应调节指令进行对应调节。
10.可选的，基于目标对象绘制目标图元，包括：
11.获取实时图像的深度信息，并基于深度信息构建三维空间坐标系；
12.获取目标对象在三维空间坐标系中的第一坐标信息；
13.基于预设的维度转换关系将在三维空间坐标系中的第一坐标信息转换为在二维空间坐标系中的第二坐标信息；
14.基于第二坐标信息绘制目标图元。
15.可选的，确定预设的维度转换关系，包括：
16.利用预设标定算法建立三维空间坐标系与二维空间坐标系的关联关系；
17.根据关联关系确定预设的维度转换关系。
18.可选的，使目标图元与实时图像显示在可视化界面内，包括：
19.将目标图元与实时图像重叠显示在可视化界面内，并且将目标图元显示在实时图像上。
20.可选的，实时图像中还包括固定对象与移动对象；将目标图元显示在实时图像上，
包括：
21.识别固定对象与移动对象的相对位置；
22.若固定对象与移动对象的重叠区域达到预设重叠阈值，将目标图元显示在实时图像中的移动对象表面上；
23.若固定对象与移动对象的重叠区域未达到预设重叠阈值，将目标图元显示在实时图像中的固定对象表面上。
24.可选的，目标图元包括光野范围；接收对目标图元的调节指令，以使调节执行设备响应调节指令进行对应调节，包括：
25.接收对光野范围的拖动调节指令，以使调节执行设备响应光野范围调节指令进行光野范围大小的调节。
26.可选的，目标图元还包括拼接范围与调节执行设备运动范围；接收对目标图元的调节指令，以使调节执行设备响应调节指令进行对应调节，包括：
27.根据调节执行设备运动范围接收对拼接范围的拖动调节指令，以使调节执行设备响应拼接范围调节指令进行拼接范围大小的调节。
28.本发明还提供了一种交互装置，包括：
29.图像获取模块，用于获取包括有目标对象的实时图像；
30.图元绘制模块，用于基于目标对象绘制目标图元，以使目标图元与实时图像显示在可视化界面内；
31.图元调节模块，用于接收对目标图元的调节指令，以使调节执行设备响应调节指令进行对应调节。
32.本发明还提供了一种电子设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述交互方法的步骤。
33.本发明还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述交互方法的步骤。
34.本发明在对患者进行射线检查时，通过获取实时图像，可以初步指导患者站位，然后基于目标对象绘制目标图元，以使目标图元与实时图像显示在可视化界面内，并且接收对目标图元的调节指令，以使调节执行设备响应调节指令进行对应调节，即根据可视化定位对曝光范围进行精准调节，并且调节执行设备可以根据调节指令自动进行调节，避免了手动调节的繁琐，优化了传统工作流，提高患者拍摄的成功率，降低医生操作的复杂度。
附图说明
35.图1为本发明实施例提供的一种交互方法的流程示意图；
36.图2为本发明实施例提供的一种医疗射线仪器与相机相结合的结构示意图；
37.图3为本发明实施例提供的一种基于目标对象绘制目标图元的流程示意图；
38.图4为本发明实施例提供的一种人体表面与罩壳表面相对于射线源或相机的相对位置关系图；
39.图5为本发明实施例提供的一种目标图元与实时图像重叠显示在可视化界面内的效果图；
40.图6为本发明实施例提供的一种交互装置的结构示意图；
41.图7为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
42.下面结合附图来具体描述本发明的优选实施例，其中，附图构成本技术一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
43.参阅图1，图1为本发明实施例中提供的一种交互方法的流程示意图，包括：
44.步骤s101：获取包括有目标对象的实时图像；
45.步骤s102：基于目标对象绘制目标图元，以使目标图元与实时图像显示在可视化界面内；
46.步骤s103：接收对目标图元的调节指令，以使调节执行设备响应调节指令进行对应调节。
47.在本发明的一些实施例中，上述步骤的执行主体可以但不限定于医疗终端或者对应服务器，如医师操作终端、医疗射线仪器控制设备等。可以理解的是，医师操作终端不限定于平板、pc、手持终端、便携式终端、头戴式终端等。
48.作为具体的实施例，在步骤s101中，包括有目标对象的实时图像可以是与医疗射线仪器相结合的相机采集的，医生操作终端可以通过与相机进行通信连接并利用有线网络/无线网络方式获取该实时图像，此获取方式是常用技术，在此不予赘述。
49.其中，目标对象可以是医疗射线仪器系统中的部件，具体可以是探测器、电离室等，通过获取包括有目标对象的实时图像，可以在可视化界面中大致显示医疗射线仪器各部件的位置。
50.作为具体的实施例，在步骤s102中，目标图元是为了将目标对象更直观地显示在可视化界面中的半透明基础图形，通过目标图元可以直观体现roi(region of interest，感兴趣区域)与患者待检部位的位置关系。而将目标对象进行绘制得到目标图元可以理解为将现实世界中的医疗射线仪器系统各部件转换到图像中的半透明基础图形。
51.在目标图元绘制完成后，可以将目标图元与实时图像同时显示在可视化界面内，可以理解的是，医师操作终端中缓存了目标图元及实时图像的像素信息，具体可以是存储在显卡的缓存中，显卡缓存里的显示数据被不断地刷新在屏幕上，目标图元与实时图像便显示在医师操作终端的可视化界面内。
52.作为具体的实施例，在步骤s103中，对目标图元的调节指令可以是医师对目标图元的拖动、放大及缩小等操作；其中，调节执行设备也是医疗射线仪器的一个部件，具体可以是限束器，医师操作终端与医疗射线仪器系统进行通信连接，因此在对医师操作终端中的目标图元进行调节操作时，限束器可以自动响应该调节指令进行对应的调节。
53.可以理解的是，在传统工作流中，需要医生手动去调整调节执行设备，并反复确认患者的摆位姿势，这不仅耽误了诊治效率，还对患者身体有一定的影响。
54.本发明在对患者进行射线检查时，通过获取实时图像，可以初步指导患者站位，然后基于目标对象绘制目标图元，以使目标图元与实时图像显示在可视化界面内，并且接收对目标图元的调节指令，以使调节执行设备响应调节指令进行对应调节，即根据可视化定位对曝光范围进行精准调节，并且调节执行设备可以根据调节指令自动进行调节，避免了手动调节的繁琐，优化了传统工作流，提高患者拍摄的成功率，降低医生操作的复杂度。
55.在本发明的一个实施例中，为了不影响光野的显示，与医疗射线仪器相结合的相机可以安装在医疗射线仪器中限束器一侧。示例性的，参阅图2，图2为本发明实施例中提供的一种医疗射线仪器与相机及医师操作终端相结合的结构示意图。可以通过安装在限束器一侧的相机实时采集图像。在患者到达指定摆位位置后，医生可以通过终端的可视化界面实时监控患者位置及状态。
56.在本发明的一个实施例中，参阅图3，图3为基于目标对象绘制目标图元的流程示意图，包括：
57.步骤s1021：获取实时图像的深度信息，并基于深度信息构建三维空间坐标系；
58.步骤s1022：获取目标对象在三维空间坐标系中的第一坐标信息；
59.步骤s1023：基于预设的维度转换关系将在三维空间坐标系中的第一坐标信息转换为在二维空间坐标系中的第二坐标信息；
60.步骤s1024：基于第二坐标信息绘制目标图元。
61.需要说明的是，医疗射线仪器的各部件包括探测器和自动曝光控制电离室，在进行放射检查过程中，目标对象包括探测器成像范围，自动曝光控制电离室及限束器发出的射线辐射的光野范围及拼接范围，其中，通过探测器成像范围可以观测患者待检部位是否位于探测器内，可以对患者的站位进行粗调；通过自动曝光控制电离室可以观测对于测量区的选择，便于定位待检部位位置；通过光野范围可以预览成片后的成像区域；通过拼接范围可以观测待检部位更多信息。
62.但是当患者到达指定位置时候，势必会对上述目标对象造成遮挡，因此需要对上述目标对象进行图元的绘制。
63.作为具体的实施例，在步骤s1021中，深度信息表示相机到目标对象之间的距离信息，三维空间坐标系包括世界坐标系，是一个三维直角坐标系，主要是描述相机与待测物体，即目标对象在真实世界的空间位置，具体的，可以在获取实时图像的深度信息后，参考医疗射线仪器和相机的位置建立三维空间坐标系。
64.作为具体的实施例，在步骤s1022中，在建立三维空间坐标系后，可以根据目标对象深度信息，获取目标对象在该三维空间坐标系的第一坐标信息。
65.作为具体的实施例，在步骤s1023中，预设的维度转换关系包括三维空间坐标系与二维空间坐标系之间的转换关系。
66.具体的，确定预设的维度转换关系，包括：
67.利用预设标定算法建立的三维空间坐标系与二维空间坐标系的关联关系；
68.根据关联关系确定预设的维度转换关系。
69.其中，预设标定算法可以是相机标定算法。具体过程可以是构建数学模型来逼近相机成像的过程，该模型实现三维世界坐标与二维像素坐标的相互转化。而相机标定的目的其实就是求出这个模型的相关参数，其中所必须的参数就是相机的内参矩阵和相机的外参矩阵，通过求解出相关参数，即可自由转换三维世界坐标与二维像素坐标。示例性的，可以利用张正友相机标定法。而利用张正友相机标定法求解上述模型相关参数的具体过程在此不再赘述。
70.在得到预设的维度转换关系后，可以根据维度转换关系将三维空间坐标系中的第一坐标信息转换为二维空间坐标系中的第二坐标信息。其中，第一坐标信息包括在自定义
的世界坐标系中，根据图像深度信息得到的位置信息，第二坐标信息包括在像素坐标系下，像素点的像素信息。
71.作为具体的实施例，在步骤s1024中，目标图元是为了将目标对象更直观地显示在可视化界面中的半透明基础图形。当获取了第二坐标信息，即医疗射线仪器各部件在像素坐标系下像素点的信息后，可以通过更改像素点透明度的方式进行图元的绘制。
72.具体的，可以根据相机返回的坐标数据，即世界坐标系坐标信息进行坐标维度的转换得到像素坐标，然后根据像素坐标绘制探测器成像区域的图元，而自动曝光控制电离室与探测器成像区域的相对位置是固定的。因此可以更快捷地进行绘制，通过将目标对象绘制成目标图元，可以在可视化界面中直观体现患者待检部位与设置的感兴趣区域的位置关系，便于医生进行诊断。
73.在本发明的一个实施例中，使目标图元与实时图像显示在可视化界面内，包括：
74.将目标图元与实时图像重叠显示在可视化界面内，并且将目标图元显示在实时图像上。
75.其中，将目标图元与实时图像重叠显示在可视化界面内可以理解为目标图元所代表的半透明基础图形与目标对象所代表的医疗射线仪器部件的实体重合展示，具体的，可以设置目标图元与实时图像的图层，使二者进行重叠展示，更为具体的，为了便于观测各目标图元与被检测患者待检部位的相对位置关系，可以将实时图像的图像设置在图像最底层。
76.在本发明的一个实施例中，实时图像中还包括固定对象与移动对象；将目标图元显示在实时图像上，包括：
77.识别固定对象与移动对象的相对位置；
78.若固定对象与移动对象的重叠区域达到预设重叠阈值，将目标图元显示在实时图像中的移动对象表面上；
79.若固定对象与移动对象的重叠区域未达到预设重叠阈值，将目标图元显示在实时图像中的固定对象表面上。
80.其中，固定对象包括医疗射线仪器中的固定部件，具体可以为电离室的罩壳，移动对象包括待检查的患者。可以理解的是，在放射性检查过程中，患者站位是否准确对于出片效果有很大影响，因此在拍摄前需要引导患者进行正确站位。
81.可以理解的是，参阅图4，图4为本发明实施例提供的一种人体表面与罩壳表面相对于限束器或相机的相对位置关系图。由于相机在限束器的一侧，而不是正中心。这就会导致即使患者站在罩壳的正中心，但是从相机的视野看过去患者并不在罩壳的正中心。此时从相机视野中会觉得图元错位，会将图元显示在罩壳表面，不能提供有效的指导作用。
82.需要说明的是，当目标图元显示在人体表面时，可以准确地反映光野范围、自动曝光控制电离室等位置。若目标图元显示在罩壳表面，则目标图元被人体遮挡，在可视化界面中则无法观察到完整的目标图元，无法指导患者进一步的站位，也无法得到待检部位的更多细节。
83.因此需要识别罩壳与患者的相对位置，本发明实施例中可以通过ai技术来识别人体是否到达罩壳前方，具体的，若人体在罩壳中心，且与罩壳的重叠区域达到预设重叠阈值，比如重叠区域达到罩壳区域的百分之八十，可以将目标图元显示在实时图像中的人体
表面上；若人体与罩壳的重叠区域未达到预设重叠阈值，比如重叠区域未达到罩壳区域的百分之八十，可以将目标图元显示在实时图像中的罩壳表面上，以提醒医生指导患者进行准确站位。
84.参阅图5，图5为本发明实施例中提供的一种目标图元与实时图像重叠显示在可视化界面内的效果图，从图中可以看出，目标图元显示在人体表面，表明此时患者达到罩壳前方，且站位相对准确。
85.此外，从图5中还可以看出探测器显示区域、光野范围及电离室的相对位置，具体的，通过探测器成像范围，可以方便医生观察被患者挡住的探测器位置，以免患者的检测部位不在探测器的成像范围内，造成出片不理想的情况；通过自动曝光控制电离室，方便医生直接在实时图像上进行自动曝光控制电离室的测量区选择，以指导患者的站位。需要说明的是，自动曝光控制电离室在物理坐标系中是一块板子，在发射射线穿过人体时，需经过这个板子，目的是控制曝光时间，使得射线到达不同部位、不同病人的拍摄的片子具有相同的感光量，使得出片更清晰。当医生选择测量区后，可以指导患者将待检部位位于测量野中心，以达到正确曝光的目的。
86.在本发明的一个实施例中，目标图元包括光野范围；接收对目标图元的调节指令，以使调节执行设备响应调节指令进行对应调节，包括：
87.接收对光野范围的拖动调节指令，以使调节执行设备响应光野范围调节指令进行光野范围大小的调节。
88.其中，光野范围是在进行放射线检查时，限束器发出的射线进行辐射的区域。在本发明实施例中，光野范围是在单帧曝光模式下显示的，调节光野范围，可以理解为调节成像区域。在传统的方式中，调节成像区域的方式是到曝光室里操作机器设备，这样不仅不方便，而且医生在离开曝光室时，若患者的位置出现变动，容易出现废片。
89.在本发明的实施例中，当将目标图元显示在人体表面，即光野范围显示在人体表面时，医师可以在可视化界面内对光野范围进行拖动调节，由于医疗射线仪器与医师操作终端通过通信连接，医疗射线仪器在接收到调节指令时，可以自动调整限束器开口的大小来实现对光野范围的调节。
90.进一步地，当需要调整待检部位或者针对某一待检部位需要更精准的曝光图像时，也可以通过拖动图元实时调整感兴趣区域。
91.利用相机辅助医生在可视化界面上调节光野范围、查看自动曝光控制测量野，从而可以判断患者摆位是否满足拍摄条件，提高拍摄效率。
92.在本发明的一个实施例中，目标图元还包括拼接范围与调节执行设备运动范围；接收对目标图元的调节指令，以使调节执行设备响应调节指令进行对应调节，包括：
93.根据调节执行设备运动范围接收对拼接范围的拖动调节指令，以使调节执行设备响应拼接范围调节指令进行拼接范围大小的调节。
94.其中，拼接范围与调节执行设备运动范围在实际系统中无直观体现，在本发明实施例中，拼接范围是在拼接曝光模式下显示的，而拼接曝光模式是在单帧曝光模式的基础上运动调节执行设备。需要说明的是，拼接曝光模式一般是针对病患需要拍摄部位较长、一张图像无法完全显示情况，拼接曝光模式会拍摄一组图像，然后利用拼接算法将这一组图像最终拼成视觉上较为流畅的一张图像。
95.调节执行设备运动范围是为了提示医生调节执行设备运动的极限位置，防止拼接范围设置的不合理，即在对拼接范围调节之前，可以根据调节执行设备运动范围实时计算出对应的拼接帧数，无需医生手动设置调节执行设备的起始位置与终止位置。
96.具体的，当医师在操作终端的可视化界面内中调节拼接范围，即确定成像区域时，可以将成像区域内的图像像素坐标转换为世界坐标；然后在曝光过程中，限束器在收到指令后根据医生设置的拼接范围进行特定轨迹的运动，相机会根据世界坐标依次运动到第一帧的位置，拍摄一张图像，然后运动到第二帧的位置，拍摄第二张图像，以此类推，最后利用拼接算法将这一组图像最终拼成视觉上较为流畅的一张图像。
97.通过在可视化界面上直接进行调节，优化了传统的工作流。
98.基于上述交互方法，本发明实施例还提供一种交互装置，该交互装置与上述实施例中交互方法一一对应。
99.参阅图6，图6为本发明实施例提供的一种交互装置的结构示意图，该交互装置600包括图像获取模块601、图元绘制模块602及图元调节模块603。各功能模块详细说明如下：
100.图像获取模块601，用于获取包括有目标对象的实时图像；
101.图元绘制模块602，用于基于目标对象绘制目标图元，以使目标图元与实时图像显示在可视化界面内；
102.图元调节模块603，用于接收对目标图元的调节指令，以使调节执行设备响应调节指令进行对应调节。
103.关于交互装置的具体限定可以参见上文中对于交互方法的限定，在此不再赘述。上述交互装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中，也可以以软件形式存储于电子设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
104.基于上述交互方法，本发明实施例还相应的提供一种电子设备，包括：处理器和存储器以及存储在存储器中并可在处理器上执行的计算机程序；处理器执行计算机程序时实现如上述各实施例的交互方法中的步骤。
105.图7中示出了适于用来实现本发明实施例的电子设备700的结构示意图。本发明实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、pda(个人数字助理)、pad(平板电脑)、pmp(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。图7示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
106.电子设备包括：存储器以及处理器，其中，这里的处理器可以称为下文所述的处理装置701，存储器可以包括下文中的只读存储器(rom)702、随机访问存储器(ram)703以及存储装置708中的至少一项，具体如下所示：
107.如图7所示，电子设备700可以包括处理装置(例如中央处理器、图形处理器等)701，其可以根据存储在只读存储器(rom)702中的程序或者从存储装置708加载到随机访问存储器(ram)703中的程序而执行各种适当的动作和处理。在ram703中，还存储有电子设备700操作所需的各种程序和数据。处理装置701、rom702以及ram703通过总线704彼此相连。输入/输出(i/o)接口705也连接至总线704。
108.通常，以下装置可以连接至i/o接口705：包括例如触摸屏、触摸板、键盘、鼠标、摄
像头、麦克风、加速度计、陀螺仪等的输入装置706；包括例如液晶显示器(lcd)、扬声器、振动器等的输出装置707；包括例如磁带、硬盘等的存储装置708；以及通信装置709。通信装置709可以允许电子设备700与其他设备进行无线或有线通信以交换数据。虽然图7示出了具有各种装置的电子设备700，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
109.特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置709从网络上被下载和安装，或者从存储装置708被安装，或者从rom702被安装。在该计算机程序被处理装置701执行时，执行本发明实施例的方法中限定的上述功能。
110.基于上述交互方法，本发明实施例还相应的提供一种计算机可读存储介质，该计算机可读存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现如上述各实施例的交互方法中的步骤。
111.本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
112.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。