影像处理方法、影像处理装置及记录有影像处理程序的记录介质与流程

1.本发明涉及对在作业者所佩戴的头戴式显示装置的显示画面上显示的影像进行处理的影像处理方法、影像处理装置及记录有影像处理程序的记录介质。


背景技术：

2.在车辆组装线等生产线上，作业者根据组装作业及紧固作业等多种多样的作业一边变更姿势及视线等一边进行作业，对这样的生产线上的作业者的作业进行评价来减轻作业者的作业负担。
3.近年来，代替实际上在生产线上作业者进行作业来对作业者的作业进行评价，考虑使用混合现实(mr)，在作业者上佩戴头戴式显示装置，并且在头戴式显示装置的显示画面上根据作业者的姿势及视线显示生产线的三维模型和作业者的三维模型，与作业者的动作相应地移动作业者的三维模型，从而模拟生产线上的作业者的作业，对作业者的作业进行评价。
4.例如在专利文献1中公开了以下内容，即作为显示虚拟作业的方式，在计算机中读入计测对象的三维数据和基于从动作捕捉装置取得的作业者的动作的作业者的三维数据，将两个数据配置于共同的三维坐标上，在画面上显示经由在共同的三维坐标上虚拟地配置的虚拟相机看到的计测对象的三维数据、以及与从动作捕捉装置取得的作业者的动作联动的作业者的三维数据。
5.现有技术文献
6.专利文献
7.专利文献1：日本特开2018
‑
181288号公报


技术实现要素：

8.发明要解决的技术问题
9.如前所述，对使用混合现实在作业者佩戴的头戴式显示装置的显示画面上与作业者的姿势及视线等相应地显示生产线的三维模型和作业者的三维模型的影像进行处理来模拟生产线上的作业者的作业，由此无需作业者实际在生产线上进行，就能够评价生产线上的作业者的作业。
10.然而，在模拟车辆组装线等生产线上的作业者的作业的情况下，对相对于头戴式显示装置的显示画面上显示的生产线的三维模型的作业对象物移动作业者的三维模型的手部来进行手工作业的作业进行模拟时等情况下，存在作业者无法准确地识别头戴式显示装置的显示画面上显示的作业者的手部等预定部位与作业对象物的距离感的隐患。
11.因此，本发明的课题在于，在作业者所佩戴的头戴式显示装置的显示画面上进行显示的影像处理中，能够使作业者直观地识别显示画面上所显示的作业者的预定部位与作业对象物的距离。
12.用于解决技术问题的方案
13.为了解决所述技术问题，本发明的特征在于采用了以下方案。
14.在本发明的第1方案中，一种影像处理方法，对在作业者的头部所佩戴的头戴式显示装置的显示画面上显示的影像进行处理，包括：步骤a，取得所述作业者的位置及姿势；步骤b，取得所述作业者的视线；以及步骤c，根据通过所述步骤a取得的所述作业者的位置及姿势、以及通过所述步骤b取得的所述作业者的视线，在所述显示画面上显示所述作业者进行虚拟作业的作业对象物的三维模型和所述作业者的三维模型，在所述步骤c中，在所述显示画面上显示从所述作业者的三维模型的预定部位直线状延伸而连结所述预定部位与所述作业对象物的三维模型之间来将所述预定部位与所述作业对象物的距离可视化的距离可视化部。
15.根据该第一方案，在作业者所佩戴的头戴式显示装置的显示画面上进行显示的影像的处理中，取得作业者的位置、姿势及视线，根据作业者的位置、姿势及视线，在显示画面上显示作业者进行虚拟作业的作业对象物的三维模型、以及作业者的三维模型。并且，在显示画面上显示从作业者的三维模型的预定部位直线状延伸而连结该预定部位与作业对象物的三维模型之间的距离可视化部。
16.由此，从作业者的三维模型的预定部位直线状延伸的离可视化部能够随着作业者的预定部位与作业对象物的距离缩短而缩短显示，能够以与作业者的预定部位与作业对象物的距离相应的长度显示。因此，在作业者所佩戴的头戴式显示装置的显示画面上进行显示的影像的处理中，能够通过距离可视化部的长度使作业者直观地识别显示画面上所显示的作业者的预定部位与作业对象物的距离。
17.由于能够使作业者直观地识别作业者的预定部位与作业对象物的距离，因此例如在模拟车辆组装线等生产线上的作业者的作业来评价作业者的作业负担时，能够模拟与作业者对实际的作业对象物进行作业的情况同样的作业，能够高精度地评价作业者的作业负担。
18.并且，在所示方案中，也可以是，所述距离可视化部从所述作业者的三维模型的手部直线状延伸。
19.由此，由于显示从作业者的三维模型的手部直线状延伸的距离可视化部，因此在模拟作业者对作业对象物进行手工作业的作业时，能够使作业者直观地识别显示画面上所显示的作业者的手部与作业对象物的距离。
20.此外，在所述方案中，也可以是，所述距离可视化部直线状延伸成棒状。
21.由此，通过距离可视化部，能够比较容易地使作业者直观地识别作业者的预定部位与作业对象物的距离。
22.此外，在所述方案中，也可以是，在所述步骤c中，根据所述预定部位与所述作业对象物的距离，变更所述距离可视化部的显示方式。
23.由此，无需变更距离可视化部的显示区域，通过距离可视化部的显示方式，也能够使作业者识别作业者的预定部位与作业对象物的距离。
24.进一步，也可以是，在所述步骤c中，作为所述距离可视化部的显示方式，变更显示色。
25.由此，能够比较容易地变更距离可视化部的显示方式。
26.此外，在本发明的第2方案中，一种影像处理装置，对在作业者的头部所佩戴的头戴式显示装置的显示画面上显示的影像进行处理，具备：处理器；以及存储器，存储所述处理器能够执行的计算机程序，在所述处理器执行所述计算机程序时执行：步骤a，取得所述作业者的位置及姿势；步骤b，取得所述作业者的视线；以及步骤c，根据通过所述步骤a取得的所述作业者的位置及姿势、以及通过所述步骤b取得的所述作业者的视线，在所述显示画面上显示所述作业者进行虚拟作业的作业对象物的三维模型和所述作业者的三维模型，在所述步骤c中，在所述显示画面上显示从所述作业者的三维模型的预定部位直线状延伸而连结所述预定部位与所述作业对象物的三维模型之间来将所述预定部位与所述作业对象物的距离可视化的距离可视化部。
27.根据该第2方案，能够实现与第1方案同样的作用效果。
28.此外，在本发明的第3方案中，一种记录介质，是计算机可读取的记录介质，记录有对在作业者的头部所佩戴的头戴式显示装置的显示画面上显示的影像进行处理的影像处理程序，在计算机执行所述影像处理程序时执行：步骤a，取得所述作业者的位置及姿势；步骤b，取得所述作业者的视线；以及步骤c，根据通过所述步骤a取得的所述作业者的位置及姿势、以及通过所述步骤b取得的所述作业者的视线，在所述显示画面上显示所述作业者进行虚拟作业的作业对象物的三维模型和所述作业者的三维模型，在所述步骤c中，在所述显示画面上显示从所述作业者的三维模型的预定部位直线状延伸而连结所述预定部位与所述作业对象物的三维模型之间来将所述预定部位与所述作业对象物的距离可视化的距离可视化部。
29.通过执行该第3方案的记录介质中所记录的影像处理程序，能够实现与第1方案同样的作用效果。
30.发明效果
31.根据本发明，在作业者所佩戴的头戴式显示装置的显示画面上进行显示的影像的处理中，通过距离可视化部的长度，能够使作业者直观地识别显示画面上所显示的作业者的预定部位与作业对象物的距离。
附图说明
32.图1是用于说明使用本发明的第1实施方式的影像处理装置评价的生产线上的作业者的作业的说明图。
33.图2是用于说明取得作业者的位置、姿势及视线的方法的说明图。
34.图3是表示作业者及头戴式显示装置上所安装的标记的图。
35.图4是表示头戴式显示装置的显示画面的一例的图。
36.图5是表示头戴式显示装置的显示画面的另一例的图。
37.图6是表示影像处理装置的构成的图。
38.图7是表示图6所示的影像处理装置的存储装置的构成的图。
39.图8是表示影像处理装置的动作的流程图。
40.图9是表示影像处理装置的显示控制的流程图。
41.图10是表示第2实施方式的影像处理装置的显示控制的流程图。
42.图11是用于说明影像处理装置的显示控制的变形例的说明图。
具体实施方式
43.以下，参照附图说明本发明的实施方式。
44.图1是用于说明使用本发明的第1实施方式的影像处理装置来评价的生产线上的作业者的作业的说明图。本发明的第1实施方式的影像处理装置是在作业者所佩戴的头戴式显示装置的显示画面上，根据作业者的位置、姿势及视线，显示作业者进行虚拟作业的生产线的三维模型和作业者的三维模型，与作业者的动作相应地移动作业者的三维模型，模拟生产线上的作业者的作业，对生产线上的作业者的作业进行评价时使用。
45.如图1所示，例如对作业者10对生产线即车辆组装线1上的作业对象物即车辆2进行组装作业、紧固作业等作业的情况模拟生产线1上的作业者10的作业，对生产线上的作业者的作业进行评价时使用。
46.图2是用于说明取得作业者的位置、姿势及视线的方法的说明图。如图2所示，在使用所述影像处理装置来评价生产线上的作业者的作业时，作业者进行虚拟作业的现实的三维空间20中所设置的框架21上固定多个相机22，具体地固定8个相机22。相机22分别将相机22的位置及方向分别预先设定为预定位置及预定方向而被固定。
47.现实的三维空间20首先在预定原点位置p1配置形成为t字状的原点设定工具23。原点设定工具23在臂部23a的两端部、腿部23b的两端部及中央部分别安装有标记24。原点设定工具23以臂部23a与腿部23b的交点p2与原点位置p1一致的方式重叠配置。标记24使用球状的反射标记等已知的标记。
48.并且，由多个相机22拍摄原点设定工具23，基于由多个相机22拍摄的图像，取得原点设定工具23的标记24的位置，并且根据原点设定工具23的标记24的位置取得原点位置p1及xyz坐标系。例如取得原点设定工具23的腿部23b为x轴，臂部23a为y轴，经过腿部23b及臂部23a的面的法线为z轴的xyz坐标系。若在现实的三维空间20中取得了原点位置p1及xyz坐标系，则原点设定工具23被去除。
49.接着，在现实的三维空间20中作业者30的头部上所佩戴的头戴式显示装置40的显示画面上显示虚拟的三维空间中作业者进行虚拟作业的生产线上的作业对象物的三维模型，使虚拟的三维空间的原点位置及xyz坐标系与现实的三维空间20的原点位置p1及xyz坐标系一致地对位。
50.通过使虚拟的三维空间的原点位置及xyz坐标系与现实的三维空间20的原点位置p1及xyz坐标系对位，佩戴了头戴式显示装置40的作业者30能够在与现实的三维空间相同的位置虚拟地视觉识别虚拟的三维空间中所显示的生产线即车辆组装线上的作业对象物即车辆的三维模型。
51.在佩戴了头戴式显示装置40的作业者30上，为了取得作业者30的位置、姿势及视线而安装有多个标记。在作业者30上安装有用于取得作业者30的位置及姿势的标记，用于取得作业者的视线的标记安装在设置于作业者30的头部的头戴式显示装置40。
52.图3是表示作业者及头戴式显示装置上所安装的标记的图。如图3所示，在作业者30的头部、两侧的肘部、两侧的手部、胸部、腰部、两侧的膝部及两侧的足部分别安装标记31，并且在头戴式显示装置40上安装标记31。标记31使用球状的反射标记等已知的标记31。
53.在现实的三维空间20中框架21上所固定的多个相机22拍摄作业者30，基于由多个相机22拍摄的图像，取得作业者30及头戴式显示装置40上所安装的标记31的位置，并且根
据标记31的位置取得作业者30的位置、姿势及视线。
54.若取得作业者30的位置、姿势及视线，则根据作业者30的位置、姿势及视线，在虚拟的三维空间生成作业者的三维模型，在头戴式显示装置40的显示画面41上，根据作业者30的位置、姿势及视线，与由作业者30虚拟地视觉识别的作业对象物即车辆的三维模型重叠地显示作业者的三维模型。
55.图4是表示头戴式显示装置的显示画面的一例的图。如图4所示，在头戴式显示装置40的显示画面41上，作为生产线的作业对象物而显示车辆组装线1上的车辆2的三维模型，并且显示作业者10的三维模型。
56.在头戴式显示装置40的显示画面41上，与现实的三维空间20中的作业者30的动作相应地，作业者10的三维模型移动地被显示出来，根据作业者30的位置、姿势及视线，与由作业者30虚拟地视觉识别的车辆2的三维模型重叠地显示作业者10的三维模型。
57.在图4所示的显示画面41中，显示车辆2的三维模型的前部，且显示车辆2的机舱3内所配置的发动机4及电池5等。在图4中还显示包括作业者10的三维模型的右侧手部11的右侧臂部12。
58.在头戴式显示装置40的显示画面41上，如图4中用斜影线表示那样，在作业者10的三维模型上还显示从作业者10的三维模型的预定部位即右侧手部11直线状延伸而连结右侧手部11与车辆2的三维模型之间来将右侧手部11与车辆2的距离可视化的距离可视化部6。
59.距离可视化部6显示成从作业者10的三维模型的右侧手部11，具体地从右侧手部11的中指部13直线状且圆柱状地延伸成棒状的棒状部件。距离可视化部6例如形成为与作业者10的三维模型的右侧手部11的中指部13大致相同直径，且作业者10的三维模型的身长的二分之一长度。
60.距离可视化部6被固定于作业者10的三维模型的右侧手部11，在现实的三维空间20中作业者30移动右侧手部时，与作业者10的三维模型的右侧手部11一起移动。距离可视化部6如图4所示在与车辆2干扰的情况下，以从作业者10的三维模型的右侧手部11延伸到车辆2的三维模型为止的方式显示，连结右侧手部11与车辆2的三维模型之间，通过距离可视化部6的长度，将右侧手部11与车辆2的距离可视化。
61.距离可视化部6在与车辆2干扰的情况下，也可以将距离可视化部6的长度缩短，以从作业者10的三维模型的右侧手部11延伸到车辆2的三维模型为止的方式显示。或者，也可以比距离可视化部6中的与车辆2干扰的部分更靠跟前地显示车辆2的三维模型，以从作业者10的三维模型的右侧手部11延伸到车辆2的三维模型为止的方式显示。
62.图5是表示头戴式显示装置的显示画面的另一例的图。若从图4所示的显示画面41上所显示的状态起，在虚拟的三维空间中以使作业者10的右侧手部11向车辆2的三维模型侧移动的方式作业者30将右侧手部向前方移动，则图5所示，在头戴式显示装置40的显示画面41上，作业者10的三维模型的右侧手部11向车辆2的三维模型侧移动而被显示。
63.在作业者10的三维模型的右侧手部11移动而被显示时，伴随着右侧手部11的移动，距离可视化部6也移动而被显示。距离可视化部6在与车辆2干扰的情况下，以从作业者10的三维模型的右侧手部11延伸到车辆2的三维模型为止的方式显示。距离可视化部6以与右侧手部11和车辆2的距离相应的长度被显示，在图5所示的状态下，与图4所示的状态相比
被缩短显示。
64.这样，在本实施方式的影像处理装置中，在头戴式显示装置40的显示画面41上，根据作业者30的位置、姿势及视线，与由作业者30虚拟地视觉识别的作业对象物2的三维模型重叠地显示作业者10的三维模型，在作业者10的三维模型上，显示从作业者10的三维模型的预定部位11直线状延伸的距离可视化部6。
65.图6是表示影像处理装置的构成的图。如图6所示，本发明的第1实施方式的影像处理装置50具备拍摄现实的三维空间20的多个相机22、作业者30上所佩戴的头戴式显示装置40、以及基于从相机22等输入的信号来处理头戴式显示装置40的显示画面41等上所显示的影像的计算机51。
66.计算机51具有能够执行计算机程序的处理器即中央处理装置52、输入数据等的键盘等输入装置53、以及记录程序及数据的存储器等存储装置54，并且具有读取dvd等记录介质的读取装置55、以及固定型显示装置等显示装置56。
67.中央处理装置52能够访问输入装置53、存储装置54及读取装置55等，构成为使用从相机22输入的信息以及存储装置54中所存储的程序和数据，模拟作业者的作业。中央处理装置52还构成为，在头戴式显示装置40的显示画面及固定型显示装置等显示装置的显示画面上显示影像。
68.图7是表示图6所示的影像处理装置的存储装置的构成的图。如图7所示，存储装置54具有程序存储部和数据存储部。程序存储部中存储有处理在头戴式显示装置40的显示画面等上显示的影像的影像处理程序、生成作业对象物及作业者等的三维模型的模型生成程序、以及显示作业对象物及作业者等的三维模型等的显示程序等。
69.在数据存储部中，现实的三维空间20中的原点位置及xyz坐标系以及虚拟的三维空间中的原点位置及xyz坐标系等空间条件数据、作业对象物的三维数据即作业对象物数据、作业者的三维数据即作业者数据、由相机22拍摄的图像数据、作业者的位置及姿势即作业者位置姿势数据、作业者的视野即作业者视野数据、虚拟的三维空间中的作业对象物的三维模型的作业对象物模型数据、以及虚拟的三维空间中的作业者的三维模型的作业者模型数据等分别被存储于文件。
70.图8是表示影像处理装置的动作的流程图。图8表示影像处理装置50的影像处理程序的动作。在影像处理装置50中，首先，使用原点设定工具23取得现实的三维空间20中的原点位置p1及xyz坐标系，在现实的三维空间20的原点位置p1及xyz坐标系上对位虚拟的三维空间的原点位置及xyz坐标系，现实的三维空间20的原点位置p1及xyz坐标系和虚拟的三维空间的原点位置及xyz坐标系作为空间条件数据被存储于存储装置54的数据存储部。
71.在影像处理装置50中，还有作业者30进行虚拟作业的作业对象物的三维形状即作业对象物的三维数据及作业者的三维形状即作业者的三维数据经由输入装置53、读取装置55等被输入而存储于数据存储部。
72.若空间条件数据、作业对象物及作业者的三维数据被存储，则在影像处理装置50中，如图8所示，取得数据存储部中所存储的作业对象物的三维数据(步骤s1)，取得数据存储部所存储的作业者的三维数据(步骤s2)。
73.接着，取得在现实的三维空间20中进行虚拟作业的作业者30被多个相机22拍摄而得到的图像并存储于数据存储部，并且基于由多个相机22拍摄的图像，取得现实的三维空
间20中的作业者30的位置及姿势(步骤s3)，取得现实的三维空间20中的作业者30的视线(步骤s4)。作业者30的位置、姿势及视线是根据作业者30及头戴式显示装置40上所安装的标记31的位置来取得的，所取得的作业者30的位置、姿势及视线数据被存储于数据存储部。
74.并且，通过模型生成程序，基于空间条件数据及作业对象物的三维数据，生成虚拟的三维空间中的作业对象物2的三维形状即三维模型(步骤s5)，基于空间条件数据及作业者的三维数据、以及现实的三维空间20中的作业者30的位置及姿势，生成虚拟的三维空间中的作业者10的三维形状即三维模型(步骤s6)。如图4所示，在虚拟的三维空间中生成作业对象物2及作业者10的三维模型，所生成的作业对象物2及作业者10的三维模型数据被存储于数据存储部。
75.若生成虚拟的三维空间中的作业对象物2及作业者10的三维模型，则进行在作业者30上所佩戴的头戴式显示装置40的显示画面41上显示作业对象物2的三维模型，并且根据作业者30的位置、姿势及视线，与由作业者30虚拟地视觉识别的作业对象物2的三维模型重叠地显示作业者10的三维模型的显示控制(步骤s7)。
76.图9是表示影像处理装置的显示控制的流程图。在图9中，表示影像处理装置50中的显示程序的动作。如图9所示，通过显示程序，在头戴式显示装置40的显示画面41上显示作业对象物2的三维模型(步骤s11)，显示作业者10的三维模型(步骤s12)。
77.作业对象物2及作业者10的三维模型以通过步骤s5及s6生成的作业对象物2及作业者10的三维模型根据作业者30的位置、姿势及视线而被作业者30虚拟地视觉识别的方式被显示出来。如图4及图5所示显示由作业者30虚拟地视觉识别的作业对象物2及作业者10的三维模型。
78.接着，在头戴式显示装置40的显示画面41上，以蓝色等预定显示色显示从作业者10的三维模型的手部11直线状延伸的距离可视化部6(步骤s13)。距离可视化部6以作为按照预先设定的预定长度圆柱状地延伸成棒状的棒状部件的三维模型而被作业者30虚拟地视觉识别的方式显示出来，与作业者10的三维模型的手部11一起移动地被显示。
79.并且，判定距离可视化部6是否与作业对象物2干扰(步骤s14)。判定在虚拟的三维空间中，从作业者10的三维模型的手部11延伸的距离可视化部6是否与作业对象物2的三维模型干扰。
80.在步骤s14的判定结果为是(yes)的情况下，判定为距离可视化部6与作业对象物2干扰，显示从作业者10的三维模型的手部11到作业对象物2的三维模型为止直线状延伸的距离可视化部6(步骤s15)。距离可视化部6连结作业者10的三维模型的手部11与车辆2的三维模型之间而被显示。
81.另一方面，在步骤s14的判定结果为否(no)的情况下，判定为距离可视化部6不与作业对象物2干扰，显示从作业者10的三维模型的手部11以直线状按照预先设定的预定长度延伸的距离可视化部6。
82.这样，影像处理装置50在头戴式显示装置40的显示画面41上，根据作业者30的位置、姿势及视线，与由作业者30虚拟地视觉识别的作业对象物2的三维模型重叠地显示作业者10的三维模型，在作业者10的三维模型上显示从作业者10的三维模型的预定部位11直线状延伸的距离可视化部6。
83.距离可视化部6伴随着作业者10的三维模型的预定部位11的移动而移动，在与作
业对象物2的三维模型干扰的情况下，以从作业者10的三维模型的预定部位11延伸到作业对象物2的三维模型为止的方式显示。
84.影像处理装置50还通过显示程序使虚拟的三维空间中的作业对象物2的三维模型和作业者10的三维模型的整体显示于作为显示装置56的固定型显示装置的显示画面。由此，能够根据固定型显示装置的显示画面上所显示的作业者10的三维模型，模拟生产线上的作业者的作业来评价作业者30的作业。
85.在本实施方式中，在头戴式显示装置40的显示画面41上显示从作业者10的三维模型的右侧手部11延伸的距离可视化部6，但也可以显示从作业者10的三维模型的左侧手部直线状延伸的距离可视化部。
86.此外，使用由相机22对作业者30及头戴式显示装置40上所安装的标记31进行拍摄的光学式的动作捕捉装置来取得作业者30的位置、姿势及视线，但还能够使用机械式或磁式的动作捕捉装置来取得作业者的位置、姿势及视线。
87.此外，在作业对象物即车辆2静止的状态下作业者30进行虚拟作业，但还能够同样适用于车辆2移动时作业者30进行虚拟作业的情况。此外，作业者30对车辆2进行虚拟作业，但还能够同样适用于其他作业。
88.这样，在本实施方式中，在作业者30所佩戴的头戴式显示装置40的显示画面41上进行表示的影像处理中，取得作业者30的位置、姿势及视线，在显示画面41上，根据作业者30的位置、姿势及视线，与由作业者30虚拟地视觉识别的作业对象物2的三维模型重叠地显示作业者10的三维模型。并且，在作业者10的三维模型上显示从作业者10的三维模型的预定部位11直线状延伸而连结所述预定部位11与作业对象物2的三维模型之间的距离可视化部6。
89.由此，从作业者10的三维模型的预定部位11直线状延伸的距离可视化部6能够随着作业者10的预定部位11与作业对象物2的距离缩短而缩短显示，能够以与作业者10的预定部位11和作业对象物2的距离相应的长度显示。因此，在作业者30所佩戴的头戴式显示装置40的显示画面41上进行显示的影像处理中，能够通过距离可视化部6的长度使作业者30直观地识别显示画面41上所显示的作业者10的预定部位11与作业对象物2的距离。
90.由于能够使作业者30直观地识别作业者10的预定部位11与作业对象物2的距离，因此例如在模拟车辆组装线等生产线上的作业者30的作业来评价作业者30的作业负担时，能够模拟与作业者30对实际的作业对象物2进行作业的情况同样的作业，能够高精度地评价作业者30的作业负担。
91.此外，显示从作业者10的三维模型的手部11直线状延伸的距离可视化部6。由此，在模拟作业者30对作业对象物2进行手工作业的作业时，能够使作业者30直观地识别显示画面41上所显示的作业者10的手部11与作业对象物2的距离。
92.此外，显示直线状延伸成棒状的距离可视化部6。由此，能够使用从作业者10的三维模型的预定部位11直线状延伸成棒状的距离可视化部6，比较容易地使作业者30直观地识别作业者10的预定部位11与作业对象物2的距离。
93.图10是表示第2实施方式的影像处理装置的显示控制的流程图。第2实施方式的影像处理装置除了显示控制不同以外与第1实施方式的影像处理装置相同，因此仅说明与第1实施方式的影像处理装置不同的部分。
94.如图10所示，第2实施方式的影像处理装置也通过显示控制程序，在头戴式显示装置40的显示画面41上显示作业对象物2的三维模型(步骤s11)，显示作业者10的三维模型(步骤s12)，用蓝色的显示色来显示从作业者10的三维模型的手部11直线状延伸的距离可视化部6(步骤s13)。距离可视化部6显示为按照预先设定的预定长度圆柱状延伸成棒状的棒状部件的三维模型，与作业者10的三维模型的手部11一起移动地被显示。
95.并且，判定距离可视化部6是否与作业对象物2干扰(步骤s14)。判定在虚拟的三维空间中，从作业者10的三维模型的手部11延伸的距离可视化部6是否与作业对象物2的三维模型干扰。
96.在步骤s14的判定结果为是的情况下，判定作业者10的三维模型的手部11与作业对象物2的距离是否为预定距离以下，例如判定是否为5cm以下(步骤s25)。判定从作业者10的三维模型的手部11到作业对象物2为止直线状延伸的距离可视化部6的长度是否为比预先设定的预定长度短的预定距离以下。
97.在步骤s25的判定结果为是的情况下，用与蓝色不同的显示色即红色来显示从作业者10的三维模型的手部11到作业对象物2为止直线状延伸的距离可视化部6(步骤s26)，在步骤s25的判定结果为否的情况下，用蓝色显示从作业者10的三维模型的手部11到作业对象物2为止直线状延伸的距离可视化部6(步骤s27)。
98.另一方面，在步骤s14的判定结果为否的情况下，判定为距离可视化部6不与作业对象物2干扰，用蓝色显示从作业者10的三维模型的手部11直线状延伸预先设定的预定长度的距离可视化部6。
99.这样，本实施方式的影像处理装置也在头戴式显示装置40的显示画面41上，根据作业者30的位置、姿势及视线，与由作业者30虚拟地视觉识别的作业对象物2的三维模型重叠地显示作业者10的三维模型，在作业者10的三维模型上显示从作业者10的三维模型的预定部位11直线状延伸的距离可视化部6。
100.距离可视化部6伴随着作业者10的三维模型的预定部位11的移动而移动，在与作业对象物2的三维模型干扰的情况下，以从作业者10的三维模型的预定部位11延伸到作业对象物2的三维模型为止的方式显示。
101.在本实施方式中，用蓝色显示从作业者10的三维模型的预定部位11直线状延伸的距离可视化部6，若预定部位11与作业对象物2的距离为预定距离以下，则用红色显示，根据预定部位11与作业对象物2的距离，进行距离可视化部6的显示色的变更，从而变更距离可视化部6的显示方式。
102.这样，本实施方式也是在作业者30所佩戴的头戴式显示装置40的显示画面41上进行显示的影像处理中，在作业者10的三维模型上显示从作业者10的三维模型的预定部位11直线状延伸而连结所述预定部位11与作业对象物2的三维模型之间的距离可视化部6。
103.由此，在作业者30所佩戴的头戴式显示装置40的显示画面41上进行显示的影像处理中，能够通过距离可视化部6的长度使作业者30直观地识别显示画面41上所显示的作业者10的预定部位11与作业对象物2的距离。
104.此外，根据作业者10的预定部位11与作业对象物2的距离，变更距离可视化部6的显示方式。由此，无需变更距离可视化部6的显示区域，通过距离可视化部6的显示方式也能够使作业者30识别作业者10的预定部位11与作业对象物2的距离。
105.此外，根据作业者10的预定部位11与作业对象物2的距离来进行距离可视化部6的显示色的变更，由此变更距离可视化部6的显示方式。由此，能够比较容易地变更距离可视化部6的显示方式。
106.图11是用于说明影像处理装置的显示控制的变形例的说明图。在前述实施方式的影像处理装置50中，在头戴式显示装置40的显示画面41上，在作业者10的三维模型上显示从作业者10的三维模型的预定部位即手部11直线状延伸的距离可视化部6时，如图11所示，还可以显示从作业者10的三维模型的手部11上所设置的钳子等保持部件15直线状延伸的距离可视化部16。
107.在该情况下，距离可视化部16也是在作业者10的三维模型的手部11移动时，与固定于手部11的保持部件15一起移动地被显示。距离可视化部16还在与作为作业对象物的车辆2干扰的情况下，以从作业者10的三维模型的手部11上所设置的保持部件15延伸到车辆2的三维模型为止的方式被显示。
108.这样，在作业者10的三维模型上显示从作业者10的三维模型的预定部位11上所设置的保持部件15直线状延伸的距离可视化部16来在作业者30所佩戴的头戴式显示装置40的显示画面41上进行显示的影像处理中，能够通过距离可视化部16的长度使作业者30直观地识别显示画面41上所显示的作业者10的预定部位11上所设置的保持部件15与作业对象物的距离。
109.在前述的实施方式中，在计算机51中，使用存储装置54中所记录的影像处理程序来处理在头戴式显示装置40的显示画面41上显示的影像，但是例如还能够使用dvd等光盘介质及磁带介质等记录介质中所记录的影像处理程序，经由读取装置55读取影像处理程序来进行在头戴式显示装置40的显示画面41上显示的影像。
110.本发明不限定于例示的实施方式，能够在不脱离本发明的要旨的范围内进行各种改良及设计上的变更。
111.工业上的可利用性
112.如上所述，根据本发明，能够使作业者直观地识别作业者所佩戴的头戴式显示装置的显示画面上所显示的作业者的预定部位与作业对象物的距离，因此有可能适当地利用于使用混合现实在头戴式显示装置的显示画面上结合作业者的姿势及视线来显示作业对象物的三维模型和作业者的三维模型来处理影像的情况。
113.符号说明
114.2 作业对象物的三维模型
115.6、16 距离可视化部
116.10 作业者的三维模型
117.11 作业者的三维模型的手部
118.22 相机
119.30 作业者
120.40 头戴式显示装置
121.41 显示画面
122.50 影像处理装置
123.51 计算机。