Ar显示装置、处理内容设定装置以及处理内容设定方法
【技术领域】
[0001]本发明涉及一种从用户接收通过规定的装置对规定的物体实施的处理内容的设定操作的AR显示装置、处理内容设定装置以及处理内容设定方法。
【背景技术】
[0002]在对原稿进行复印的情况下，有时将“绝密”等字符作为水印(watermark)来合成，或者对印刷后的纸实施折叠、装订、打孔等后处理。在实施这种附加处理的情况下，用户通常从印刷装置的操作面板进行其设定，但是难以在印刷前由用户自身正确地估计出按照自己所进行的设定来制作的印刷物的完成状态。例如，难以正确地识别订书钉、穿出孔与被印刷的字符、图像的重叠的有无、位置关系。
[0003]因此，提出了如下一种图像形成装置:该图像形成装置利用扫描仪读取原稿，制作对印刷了该读取图像的纸实施穿出孔等后处理的完成状态的预览图像并显示在操作面板上(例如参照专利文献I)。
[0004]另外，存在如下一种系统，该系统包括输出将用于指定服务器中登记的规定的图像的AR (Augmented Reality:增强现实)标签附加在基本原稿的印刷物的图像形成装置以及拍摄该印刷物的便携终端，拍摄了该印刷物的便携终端从服务器获取与附加在该印刷物上的AR标签相关联的图像(例如:地图等)，将该图像重叠在摄像图像中的AR标签的附近来进行AR显示(例如参照专利文献2。)
[0005]专利文献1:日本特开2008-70835号公报
[0006]专利文献2:日本特开2013-026922号公报
【发明内容】
[0007]发明要解决的问题
[0008]在上述的专利文献I所公开的图像形成装置中，为了对完成状态进行预览显示，需要利用扫描仪读取原稿，比较费事。另外，在操作面板小的画面上，难以确认正确的完成状态。
[0009]另外，在被预览显示的完成状态上存在问题而变更设定内容的情况下，必须转移到设定画面来进行变更操作之后再次切换到预览显示来确认变更后的内容，在以完成状态确认变更是否适当时比较费事。
[0010]在专利文献2所公开的技术中，只是将与AR标签相关联的图像重叠在摄像图像中的AR标签的附近来进行AR显示，因此即使应用该技术将完成状态的图像重叠在纸上来进行AR显示，在变更设定内容的情况下，也必须转移到设定画面来进行变更操作之后再次进行AR显示来确认变更后的内容，在以完成状态确认变更是否适当时比较费事。
[0011]此外，不限于利用印刷装置印刷在纸上的情况，在利用规定的装置对规定的物体实施某些处理的情况下产生同样的问题。
[0012]本发明是为了解决上述问题而完成的，其目的在于提供一种能够通过映像来确认通过规定的装置对规定的物体实施的处理的处理结果的同时进行处理内容的设定变更的AR显示装置、处理内容设定装置以及处理内容设定方法。
[0013]用于解决问题的方案
[0014]用于达到所述目的的本发明的宗旨在于以下各项的发明。
[0015]一种AR显示装置，其特征在于，具备:
[0016]显示部，显示出在现实空间上合成了图像的扩展现实空间；
[0017]摄像机，对与所述显示部所显示的所述扩展现实空间对应的现实空间进行摄影；
[0018]物体检测部，在所述摄像机所摄影的现实空间中检测规定的物体；
[0019]显示控制部，生成模拟地表示规定的装置对所述规定的物体实施了规定的处理的情况下的处理结果的模拟图像，使所述显示部显示将所述模拟图像叠合在由所述物体检测部检测出的所述规定的物体上的扩展现实空间；
[0020]操作检测部，检测用户对在所述显示部上显示的所述扩展现实空间内的所述模拟图像进行的操作；以及
[0021]设定信息输出部，输出用于由所述规定的装置得到与所述模拟图像对应的处理结果的设定信息，
[0022]其中，所述显示控制部根据由所述操作检测部检测出的所述操作来变更所述模拟图像，
[0023]所述设定信息输出部输出与所述变更后的模拟图像对应的所述设定信息。
[0024]在上述发明和下述[10]、[19]所述的发明中，生成模拟地表示规定的装置对规定的物体实施了规定的处理的情况下的处理结果的模拟图像，对使该模拟图像叠合在现实空间的物体上的扩展现实空间进行AR显示。然后，当从用户接收到通过拖拽(drag)、撑开等操作对AR显示的模拟图像进行的移动、放大等指示时，根据该操作来变更模拟图像，输出用于由规定的装置得到与变更后的模拟图像对应的处理结果的设定信息。由此，用户针对通过规定的装置对物体实施的处理内容的设定，通过AR显示来能够一边确认其处理结果一边进行变更，并且，输出与变更后的处理内容对应的设定信息，因此能够利用它来由实际的装置得到与模拟图像对应的处理结果。
[0025][2]根据[I]所述的AR显示装置，其特征在于，
[0026]所述设定信息输出部向所述规定的装置输出与所述变更后的模拟图像对应的所述设定信息，使所述设定信息所表示的设定内容反映在所述规定的装置中。
[0027]在上述发明和下述[11]、[20]所述的发明中，向规定的装置输出与变更后的模拟图像对应的设定信息来使该设定信息所表示的设定内容反映在规定的装置中，因此能够在现实的装置中容易地得到在扩展现实空间中确认的变更后的处理结果。
[0028][3]根据[I]所述的AR显示装置，其特征在于，
[0029]所述操作检测部检测:在指示体接触所述物体的状态或所述指示体接近所述物体的状态下所述用户进行或开始的利用所述指示体的对所述模拟图像的操作。
[0030]在上述发明和下述[12]、[21]所述的发明中，对模拟图像的操作被限定于在用户的手指等指示体接触物体的状态或者指示体接近物体的状态下开始的操作。由此，防止将远离物体的无意图的动作误认为对模拟图像的操作。指示体是手、手指等对模拟图像进行操作的物体，也可以是笔、棒状的物体等。
[0031][4]根据[I]所述的AR显示装置，其特征在于，
[0032]对所述模拟图像的操作是指示所述模拟图像的移动、尺寸调整、浓淡调整、消除中的至少一个的操作。
[0033][5]根据[I]所述的AR显示装置，其特征在于，
[0034]所述显示控制部在通过所述操作而使所述模拟图像移动到不与所述规定的物体重叠的位置的情况下，消除所述模拟图像。
[0035]在上述发明和下述“14”所述的发明中，通过消除模拟图像，与消除的该模拟图像对应的设定被削除(取消)。
[0036][6]根据[I]所述的AR显示装置，其特征在于，
[0037]具备设定信息获取部，该设定信息获取部从外部装置获取设定信息，该设定信息是表示所述规定的装置对所述规定的物体实施的处理内容的设定信息，
[0038]所述显示控制部按照由所述设定信息获取部获取的所述设定信息生成所述模拟图像。
[0039]在上述发明和下述[15]所述的发明中，基于从外部装置获取的设定信息生成初始的模拟图像，来显示扩展现实空间。
[0040][7]根据[I]所述的AR显示装置，其特征在于，
[0041]所述物体检测部针对存在于所述摄像机正在摄影的所述现实空间的所述规定的物体，包括其姿势在内进行检测，
[0042]所述显示控制部使所述显示部显示将与所述规定的物体的姿势匹配地校正的所述模拟图像叠合在所述规定的物体上的扩展现实空间。
[0043]在上述发明和下述[14]所述的发明中，检测现实空间的物体的姿势，与现实空间的物体的姿势匹配地校正模拟图像，对使校正后的模拟图像叠合在存在于现实空间的物体上的扩展现实空间进行AR显示。
[0044][8]根据[I]至[7]中的任一项所述的AR显示装置，其特征在于，
[0045]所述规定的装置是印刷装置，
[0046]所述规定的物体是纸。
[0047][9]根据[8]所述的AR显示装置，其特征在于，
[0048]所述规定的处理包括:在印刷对象的图像上附加图章图像的处理、消除在翻开书来复印时在中央产生的影的中心消除处理、调整印刷范围的处理、合成底纹图像的处理、形成装订孔的处理、用订书钉进行装订的处理中的至少一个。
[0049][10] 一种处理内容设定装置，其特征在于，具备:
[0050]物体检测部，在AR显示装置的摄像机所摄影的现实空间中检测规定的物体，其中，该AR显示装置具备:显示出在现实空间上合成了图像的扩展现实空间的显示部、以及对与所述显示部所显示的所述扩展现实空间对应的现实空间进行摄影的所述摄像机；
[0051 ] 显示控制部，生成模拟地表示规定的装置对所述规定的物体实施了规定的处理的情况下的处理结果的模拟图像，使所述AR显示装置显示将所述模拟图像叠合在由所述物体检测部检测出的所述规定的物体上的扩展现实空间；
[0052]操作检测部，检测用户对在所述AR显示装置上显示的所述扩展现实空间内的所述模拟图像进行的操作；以及
[0053]设定信息输出部，输出用于由所述规定的装置得到与所述模拟图像对应的处理结果的设定信息，
[0054]其中，所述显示控制部根据由所述操作检测部检测出的所述操作来变更所述模拟图像，
[0055]所述设定信息输出部输出与所述变更后的模拟图像对应的所述设定信息。
[0056][11]根据[10]所述的处理内容设定装置，其特征在于，
[0057]所述设定信息输出部向所述规定的装置输出与所述变更后的模拟图像对应的所述设定信息，使所述设定信息所表示的设定内容反映在所述规定的装置中。
[0058][12]根据[10]所述的处理内容设定装置，其特征在于，
[0059]所述操作检测部检测:在指示体接触所述物体的状态或所述指示体接近所述物体的状态下所述用户进行或开始的利用所述指示体的对所述模拟图像的操作。
[0060][13]根据[10]所述的处理内容设定装置，其特征在于，
[0061]对所述模拟图像的操作是指示所述模拟图像的移动、尺寸调整、浓淡调整、消除中的至少一个的操作。
[0062][14]根据[10]所述的处理内容设定装置，其特征在于，
[0063]所述显示控制部在通过所述操作而使所述模拟图像移动到不与所述规定的物体重叠的位置的情况下，消除所述模拟图像。
[0064][15]根据[10]所述的处理内容设定装置，其特征在于，
[0065]具备设定信息获取部，该设定信息获取部从外部装置获取设定信息，该设定信息是表示所述规定的装置对所述规定的物体实施的处理内容的设定信息，
[0066]所述显示控制部按照由所述设定信息获取部获取的所述设定信息生成所述模拟图像。
[0067][16]根据[10]所述的处理内容设定装置，其特征在于，
[0068]所述物体检测部针对存在于所述摄像机正在摄影的所述现实空间的所述规定的物体，包括其姿势在内进行检测，
[0069]所述显示控制部使所述AR显示装置显示将与所述规定的物体的姿势匹配地校正的所述模拟图像叠合在所述规定的物体上的扩展现实空间。
[0070][17]根据[10]至[16]中的任一项所述的处理内容设定装置，其特征在于，
[0071]所述规定的装置是印刷装置，
[0072]所述规定的物体是纸。
[0073][18]根据[17]所述的处理内容设定装置，其特征在于，
[0074]所述规定的处理包括:在印刷对象的图像上附加图章图像的处理、消除在翻开书来复印时在中央产生的影的中心消除处理、调整印刷范围的处理、合成底纹图像的处理、形成装订孔的处理、用订书钉进行装订的处理中的至少一个。
[0075][19] 一种处理内容设定方法，通过AR显示装置接收规定的装置对规定的物体实施的处理内容的设定，该AR显示装置具备:显示出在现实空间上合成了图像的扩展现实空间的显示部、以及对与所述显示部所显示的所述扩展现实空间对应的现实空间进行摄影的摄像机，该处理内容设定方法的特征在于，具有:
[0076]在所述摄像机所摄影的现实空间中检测规定的物体的步骤；
[0077]生成模拟地表示所述规定的装置对所述规定的物体实施了规定的处理的情况下的处理结果的模拟图像，使所述AR显示装置显示将所述模拟图像叠合在所述检测出的所述规定的物体上的扩展现实空间的步骤；
[0078]检测用户对在所述AR显示装置上显示的所述扩展现实空间内的所述模拟图像进行的操作的步骤；
[0079]根据所述检测出的所述操作来变更所述模拟图像的步骤；
[0080]输出用于由所述规定的装置得到与所述变更后的模拟图像对应的处理结果的设定信息的步骤。
[0081][20]根据[19]所述的处理内容设定方法，其特征在于，
[0082]在输出用于由所述规定的装置得到与所述变更后的模拟图像对应的处理结果的设定信息的步骤中，向所述规定的装置输出所述设定信息，使所述设定信息所表示的设定内容反映在所述规定的装置中。
[0083][21]根据[19]或[20]所述的处理内容设定方法，其特征在于，
[0084]在检测所述操作的步骤中，检测:在指示体接触所述物体的状态或所述指示体接近所述物体的状态下所述用户进行或开始的利用所述指示体的对所述模拟图像的操作。
[0085]发明的效果
[0086