关联显示系统、转换装置、便携式终端装置和存储介质的制作方法

本发明涉及将智能手机等具有显示功能的设备与头戴显示器关联而进行显示的关联显示系统。

背景技术：

在智能手机等设备中，采用了触摸屏幕显示器，从而在触摸画面的同时进行操作。只要该智能手机的图像输出与头戴显示器(hmd)连接，便能够将智能手机的画面呈现于hmd。

因此，能够利用智能手机的画面进行操作，并在hmd中确认画面。

这样，作为在智能手机等具有显示功能的设备与hmd之间进行关联后的显示的系统，提出了日本特许5630141、日本特开2003-279881那样的系统。

在日本特许5630141中示出了：选择智能手机的画面的一部分，将选择出的范围的画面显示于hmd。智能手机画面的一部分的选择是由用户进行的。

如图20所示，在日本特开2003-279881中公开了安装于便携式信息终端(pda)200来进行使用的保持架210(图中的斜线部分)。在图19中示出了其电路块。保持架210与hmd220连接。在该hmd220中不显示来自pda200的显示数据，而是显示来自安装于保持架210的闪存卡212的显示数据。

在图20中示出了hmd220的显示例。在hmd220中显示有记录在闪存卡212中的显示数据(图中的“abc”)。并且，显示有用于操作的光标222和显示切换按钮226、228。

收纳在保持架210内的pda200的液晶面板202不是作为显示器发挥功能，而是作为用于使光标222移动的触摸垫来发挥功能。即，能够通过触控笔201来使hmd220的光标222移动。

当从该状态起使光标222移动，并对显示切换按钮226进行双击(触控笔201的双击)时，变成图21所示的显示模式。当点击显示切换按钮226时，pda200的液晶面板202被分离成上侧区域202a和下侧区域202b。记录在保持架210的闪存212中的用于hmd220的显示数据如pda200的液晶面板202那样缩小。缩小后的显示数据显示在pda200的上侧区域202a。在pda200的下侧区域202b显示虚拟键盘。虽然在上侧区域202a中不仅显示有记录于闪存212的显示数据，还显示有来自假想键盘的输入数据，但并没有清楚地指出其具体的处理。

以如上方式，能够进行pda200的液晶面板202与hmd220的显示关联。

但是，在将智能手机的画面数据向外部输出时，如图22所示，多数情况下都是在没有对应画面整体的结构的情况下输出的。图22a是智能手机的画面数据，图22b是从智能手机输出的画面数据。由于智能手机的画面是纵向，hmd的画面是横向，所以图22b的斜线部与智能手机的画面数据对应。

因此，为了实现智能手机等的画面与hmd的画面的关联，如果没有考虑到这样的图像数据的结构的不同，则无法进行恰当的关联显示。即，如果不进行大小转换或纵横旋转等，则无法进行恰当的关联显示。

在日本特许5630141中，没有考虑到上述那样的画面结构的不同，有可能无法进行恰当的关联显示。并且，由于是将用户在智能手机上所选择的画面的一部分显示于hmd的，因此事先是不知道要选择的部位的。

因此，存在确定智能手机的应用在hmd上被显示的区域并进行与之对应的处理较为困难的问题。例如，存在无法创建如下应用的问题：该应用预先将智能手机的规定的区域设为操作用的区域，将其他区域设为显示基于操作的结果的区域，并仅将该其他区域显示于hmd。

在专利文献2中，不是在pda200侧生成显示数据，而是将记录在保持架210的闪存卡212中的显示数据显示于hmd220。并且，在pda200中，将该显示数据如液晶面板202那样缩小之后进行显示。

这样，专利文献2的系统没有根据pda或智能手机侧生成的显示数据来进行对hmd220的显示。因此，如下述那样的关联是没有被想到的：有效利用了pda或智能手机等的能力而进行处理，并将表示其处理结果的液晶面板202的一部分显示于hmd220这样的关联。即，存在如下问题：无法提供充分利用了pda或智能手机所具有的功能的关联显示系统。

技术实现要素：

本发明解决了上述那样的问题点，其目的在于，提供能够考虑到与hmd的画面结构的不同而进行恰当的显示关联的系统。

并且，其目的在于，提供如下的系统：有效利用智能手机等的处理能力，将显示其处理结果的画面的预先确定的一部分显示于hmd，该系统的智能手机应用的开发较为容易。

此外，其目的在于，提供能够在通过声音输入来赋予命令的情况下进行识别的系统。

本发明的目的在于，提供至少解决上述任意一个目的的系统。

以下列举出本发明的能够独立应用的几个特征。

(1)(2)本发明的关联显示系统具有：便携式终端装置，其具有输出部和能够进行触摸输入的触摸显示器，该输出部将显示于所述触摸显示器的纵向的显示数据作为与横向的hmd画面对应的外部输出显示数据而输出；转换装置，其接收来自所述输出部的外部输出显示数据，生成用于在头戴显示器(hmd)上显示的横向的hmd显示数据；以及头戴显示器，其与所述转换装置连接，接收hmd显示数据而进行显示，该关联显示系统的特征在于，将所述触摸显示器的规定的一部分区域、即与所述横向的hmd画面对应的一部分区域设为重复显示区域，所述转换装置提取与接收到的外部输出显示数据的中央部所包含的所述纵向的显示数据对应的区域中的、所述重复显示区域的显示数据，生成hmd显示数据。

因此，能够在利用便携式终端装置的功能的同时，将其一部分画面显示于hmd而实现关联。

(3)本发明的系统的特征在于，便携式终端装置具有固定单元，该固定单元针对所述触摸显示器的纵向显示或横向显示的切换单元而固定成显示纵向。

因此，无论便携式终端装置的画面方向如何，都能够进行稳定的显示关联。

(4)本发明的系统的特征在于，在便携式终端装置的触摸显示器中，在所述重复显示区域中不进行用于触摸输入的显示。

因此，能够实现浪费较少的显示关联。

(5)(6)本发明的便携式终端装置具有：触摸显示器，其能够进行触摸输入；输出单元，其将显示于所述触摸显示器的纵向的显示数据作为与横向的hmd画面对应的外部输出显示数据而输出；以及转换单元，其接收来自所述输出单元的外部输出显示数据，生成用于在头戴显示器(hmd)上显示的横向的hmd显示数据，该便携式终端装置的特征在于，将所述触摸显示器的规定的一部分区域、即与所述横向的hmd画面对应的一部分区域设为重复显示区域，所述转换单元提取与接收到的外部输出显示数据的中央部所包含的所述纵向的显示数据对应的区域中的、所述重复显示区域的显示数据，生成hmd显示数据。

因此，能够在不使用转换装置的情况下进行显示关联。

(7)本发明的便携式终端装置的特征在于，转换单元将所述触摸显示器的纵向显示或横向显示的切换单元固定成显示纵向。

因此，无论便携式终端装置的画面方向如何，都能够进行稳定的显示关联。

(8)本发明的便携式终端装置的特征在于，在便携式终端装置的触摸显示器中，在重复显示区域中不进行用于触摸输入的显示。

因此，能够实现浪费较少的显示关联。

(9)(10)本发明的关联显示系统具有：便携式终端装置，其具有输出部和能够进行触摸输入的触摸显示器，该输出部将显示于所述触摸显示器的显示数据作为外部输出显示数据而输出到外部；转换装置，其接收来自所述输出部的外部输出显示数据，生成用于在头戴显示器(hmd)上显示的hmd显示数据；以及头戴显示器，其与所述转换装置连接，接收hmd显示数据而进行显示，该关联显示系统的特征在于，将所述触摸显示器的规定的一部分区域、即与所述hmd画面对应的一部分区域设为重复显示区域，所述转换装置根据所连接的便携式终端装置的机型和头戴显示器的进行的组合将所述外部输出显示数据转换为所述hmd显示数据。

因此，能够根据便携式终端装置和头戴显示器的机型，在利用便携式终端装置的功能的同时将其一部分画面显示于hmd而实现关联。

(11)本发明的系统的特征在于，在所连接的便携式终端装置的机型或头戴显示器的机型中的一方被预先确定的情况下，根据另一方将所述外部输出显示数据转换为所述hmd显示数据。

因此，能够进行与机型对应的恰当的显示关联。

(12)本发明的系统的特征在于，在因便携式终端装置的机型和头戴显示器的机型的组合而处于所述显示数据是用于纵向显示的数据，所述外部输出显示数据是在其中央部包含所述纵向的显示数据并且整体与横向的hmd画面对应的数据的情况下，所述转换装置提取与接收到的外部输出显示数据的中央部所包含的所述纵向的显示数据对应的区域中的、所述重复显示区域的显示数据，生成hmd显示数据。

因此，能够在利用便携式终端装置的功能的同时将其一部分画面显示于hmd而实现关联。

(13)(14)本发明的便携式终端装置具有：触摸显示器，其能够进行触摸输入；输出单元，其将显示于所述触摸显示器的显示数据作为外部输出显示数据而输出到外部；以及转换单元，其接收来自所述输出单元的外部输出显示数据，生成用于在头戴显示器(hmd)上显示的hmd显示数据，该便携式终端装置的特征在于，将所述触摸显示器的规定的一部分区域、即与所述hmd画面对应的一部分区域设为重复显示区域，所述转换单元根据所连接的便携式终端装置的机型和头戴显示器的机型的组合将所述外部输出显示数据转换为所述hmd显示数据。

因此，能够根据便携式终端装置和头戴显示器的机型，在利用便携式终端装置的功能的同时将其一部分画面显示于hmd而实现关联。

(15)本发明的装置的特征在于，在所连接的便携式终端装置的机型或头戴显示器的机型中的一方被预先确定的情况下，根据另一方将所述外部输出显示数据转换为所述hmd显示数据。因此，能够进行与机型对应的恰当的显示关联。

(16)本发明的便携式终端装置的特征在于，在因便携式终端装置的机型和头戴显示器的机型的组合而处于所述显示数据是用于纵向显示的数据，所述外部输出显示数据是在其中央部包含所述纵向的显示数据并且整体与横向的hmd画面对应的hdmi数据的情况下，所述转换装置提取与接收到的hdmi数据的中央部所包含的所述纵向的显示数据对应的区域中的、所述重复显示区域的显示数据，并生成hmd显示数据。

因此，能够根据便携式终端装置和头戴显示器的机型，在利用便携式终端装置的功能的同时，将其一部分画面显示于hmd而实现关联。

(17)(18)(19)(20)本发明的关联显示系统具有：便携式终端装置，其具有输出部和能够进行触摸输入的触摸显示器，该输出部将显示于所述触摸显示器的显示数据作为外部输出显示数据而输出到外部；转换装置，其接收来自所述输出部的外部输出显示数据，生成用于在头戴显示器(hmd)上显示的hmd显示数据；以及头戴显示器，其与所述转换装置连接，接收hmd显示数据而进行显示，该关联显示系统的特征在于，将所述触摸显示器的规定的一部分区域、即与所述hmd画面对应的一部分区域设为重复显示区域，所述便携式终端装置在初始设定时生成能够将所述重复显示区域与其以外的区域区分开来的初始设定用显示数据，输出与该初始设定用显示数据对应的初始设定用外部输出显示数据，所述转换装置在初始设定时接收所述初始设定用外部输出显示数据，识别出该数据中的重复显示区域，建立从外部输出显示数据向hmd显示数据转换的转换顺序。

因此，无论便携式终端装置的机型等如何，都能够自动地实现与hmd的显示关联。

(21)(22)本发明的便携式终端装置具有：触摸显示器，其能够进行触摸输入；输出单元，其将显示于所述触摸显示器的显示数据作为外部输出显示数据而输出到外部；以及转换单元，其接收来自所述输出单元的外部输出显示数据，生成用于在头戴显示器(hmd)上显示的hmd显示数据，该便携式终端装置的特征在于，将所述触摸显示器的规定的一部分区域、即与所述hmd画面对应的一部分区域设为重复显示区域，所述便携式终端装置在初始设定时生成能够将所述重复显示区域与其以外的区域区别开来的初始设定用显示数据，输出与该初始设定用显示数据对应的初始设定用外部输出显示数据，所述转换单元在初始设定时接收所述初始设定用外部输出显示数据，识别出该数据中的重复显示区域，建立从外部输出显示数据向hmd显示数据转换的转换顺序。

因此，即使不使用转换装置，无论便携式终端装置的机型等如何，都能够自动地实现与hmd的显示关联。

(23)(24)本发明的声音识别装置具有：画面数据生成单元，其生成用于在显示部上显示的画面数据；命令识别单元，其接收声音数据，识别所对应的命令；以及命令执行单元，其执行所识别的命令，该声音识别装置的特征在于，所述画面数据生成单元生成如下画面数据：在该画面数据中包含与在该画面中所能够受理的命令对应的声音数据的文本，所述命令识别单元从所述能够受理的命令中选择与声音数据对应的命令并进行识别。

因此，对于用户而言所能够利用的声音命令是明确的，容易通过装置侧的声音识别来识别命令。

(25)(26)本发明的声音识别装置具有：画面数据生成单元，其生成用于在显示部上显示的画面数据；命令识别单元，其接收声音数据，识别所对应的命令；以及命令执行单元，其执行所识别的命令，该声音识别装置的特征在于，所述画面数据生成单元生成如下画面数据，该画面数据包含：将所输入的声音数据的声音波形与作为命令识别单元所能够识别的电平标准的线一起示出的情形。

因此，在用户输入声音命令时，能够容易地了解恰当的发声的大小。在本发明中，图像方向固定单元在实施方式中与步骤s11或步骤s31对应。

“输出部”在实施方式中与输入输出端口24对应。“初始图像输出单元”在实施方式中与步骤s32对应。“转换顺序建立单元”在实施方式中与步骤s42、s43对应。“转换单元”在实施方式中与步骤s2对应。“程序”不仅是cpu所能够直接执行的程序，还是包含源形式的程序、压缩处理后的程序、加密后的程序等的概念。

附图说明

图1是本发明的一个实施方式的关联显示系统的整体结构。

图2是关联显示系统的系统结构。

图3是智能手机2的硬件结构。

图4是转换装置4的硬件结构。

图5a是智能手机2的显示画面，图5b是hmd6的显示画面。

图6是转换程序的流程图。

图7a是显示图像数据，图7b是输出图像数据，图7c是hmd图像数据。

图8是终端程序的流程图。

图9是终端程序的流程图。

图10a是示出将第1实施方式的关联显示系统应用于作业导航系统的例子的画面例，图10b是示出将第1实施方式的关联显示系统应用于作业导航系统的例子的画面例，图10c是示出将第1实施方式的关联显示系统应用于作业导航系统的例子的画面例。

图11是作业导航系统的画面例。

图12是作业导航系统的画面例。

图13是作业导航系统的画面例。

图14是作业导航系统的画面例。

图15a是从横向画面模式的智能手机2输出的输出图像数据，图15b是hmd显示数据。

图15c是智能手机画面和hmd画面的例子，图15d是智能手机画面和hmd画面的例子，图15e是智能手机画面和hmd画面的例子。

图16是第2实施方式的关联显示系统的整体结构。

图17是初始设定时的流程图。

图18a是初始设定图像数据，图18b是该输出图像数据，图18c是该输出图像数据。

图18d是智能手机的输出图像数据的例子。

图19是示出以往的系统的框图。

图20是用于示出以往的系统的动作的图。

图21是用于示出以往的系统的动作的图。

图22a是智能手机的显示图像，图22b是输出图像数据的例子。

具体实施方式

1.第1实施方式

1.1整体结构

图1示出了本发明的一个实施方式的关联显示系统的功能框图。作为便携式终端装置的智能手机2具有可触摸输入的触摸显示器22。智能手机2具有检测重力的方向的加速度传感器(未图示)，根据画面的朝向对纵向的图像数据(画面为纵向时以恰当方向显示的图像数据)和横向的图像数据(画面为横向时以恰当方向显示的图像数据)进行切换而显示。但是，通过图像方向固定单元21，无论画面的朝向如何，都会固定成显示纵向的图像数据23的模式。

纵向的图像数据23被设为横向的输出图像数据31而从输出部24输出。横向的输出图像数据31的中央部分33与纵向的图像数据23对应。并且，纵向的输出图像数据23的一部分(在该例中为上1/3)为重复显示区域25。该重复显示区域25是在头戴显示器(hmd)6中显示的区域。

转换装置4接收横向的输出图像数据31并确定与纵向的图像数据23对应的中央部分33。然后，从该中央部分33中提取与纵向的图像数据23的重复显示区域25对应的重复显示区域35。转换装置4将提取出的重复显示区域35的数据作为用于hmd6的hmd显示数据40而输出。hmd6对接收到的hmd显示数据40进行显示。

在智能手机2中，以触摸显示器22的重复显示区域25的显示还被hmd6显示、而下部区域27的显示仅被智能手机2显示为前提来记述处理程序。例如，通过在下部区域27中显示操作按钮等，能够操作该操作按钮来进行输入等。以处理结果等显示于重复显示区域25的方式来记述处理程序。并且，在hmd6中显示、内容与重复显示区域25相同的hmd显示数据41。

因此，用户能够利用智能手机2的触摸显示器22来进行操作，使结果显示于hmd6。

1.2系统结构·硬件结构

图2示出了本发明的一个实施方式的关联显示系统的系统结构。该系统具有智能手机2、转换器4以及头戴显示器(hmd)6。

智能手机2的连接器端子(输出端口24)通过连接器50与线缆52连接。线缆52与转换器4的输入输出端口47连接。转换器4的输出被赋予给hmd6。另外，作为hmd6，可以使用westunitis(公司)的picolinker(商标)。

图3示出了智能手机2的硬件结构。cpu20与存储器26、触摸显示器22、非易失性存储器28、输入输出端口24、通信电路30、麦克风37、扬声器39连接。另外，在附图中，省略了通话电路等。

触摸显示器22进行显示，并且接收用户的输入。输入输出端口24是用于至少供输出图像数据进行输出的端口。如果是iphone(商标)，则lightning(商标)连接器与该输入输出端口24对应。如果是android(商标)终端，则微型usb连接器与该输入输出端口24对应。通信电路30用于与网络进行通信。麦克风37用于以声音的方式取得用户的操作。扬声器39用于向用户输出指示等。

在非易失性存储器28中记录有终端程序32。该终端程序32是经由通信电路30从网络上的网站下载的。

图4示出了转换器4的硬件结构。cpu40与存储器42、非易失性存储器44、hdmi转换器46以及输出端口48连接。输出端口48与hmd6连接。hdmi转换器46经由输入口47与线缆52连接。因此，来自智能手机2的输出图像数据被转换为hdmi数据而被取入。在非易失性存储器44中记录有转换程序50。另外，虽然未图示，但设置有用于驱动的电池。

1.3关联显示处理

在该实施方式中，如图5a所示，智能手机2为纵向画面，将触摸显示器22的上部区域设为重复显示区域25。该重复显示区域25是用于显示的区域。仅将该重复显示区域25显示在hmd6的显示区域7的整体(图5b)上。触摸显示器22的下部区域27是用于进行显示和操作输入的区域。该下部区域27不显示在hmd6上。

因此，在智能手机2中所使用的应用使应当显示于hmd6的内容显示在预先规定的重复显示区域25，使应当仅显示于智能手机2的内容显示在下部区域27。

图6示出了转换装置4的转换程序50的流程图。转换装置4的cpu40(以下，有时省略为转换装置4)取入从输入口47接收的、输出图像数据所转换而成的hdmi数据(步骤s1)。图7a示出了显示在智能手机2的触摸显示器22中的图像数据。斜线部分是被设定为重复显示区域25的部分。在图7b中示出了从智能手机2的输入输出端口24输出的输出图像数据被转换为hdmi数据。

cpu40将取入的hdmi数据记录在存储器42(缓存)中(步骤s1)。cpu40从横向的hdmi数据的中央部分33确定并提取重复显示区域35(步骤s2)。另外，在该实施方式中，预先确定图7a所示的智能手机2的图像数据23中的重复显示区域25。并且，图7a的纵向的图像数据被转换为图7b的横向的hdmi数据时的比率也是已知的。因此，cpu40能够从图7b的中央部分33确定重复显示区域35。

cpu40将以此方式而提取出的重复显示区域35的数据作为hdmi显示数据41从输出端口48输出(步骤s3)。

以上述方式，能够仅将智能手机2的触摸显示器22的重复显示区域25显示于hmd6。

另外，虽然在上述中，是通过cpu40来进行图像数据的提取处理的，但其一部分或全部也可以通过fpga等实现。

以下，作为一例，说明对持有智能手机2并佩戴hmd6的用户进行作业指示的终端程序50。图8示出了终端程序50的流程图。

智能手机2的cpu20将触摸显示器22的纵横自动切换功能关闭，固定为纵向画面模式(步骤s11)。在智能手机2中设置有如下功能：通过检测重力加速度的传感器(未图示)来检测智能手机2的姿态，对纵向画面模式和横向画面模式进行切换。这里，将该切换功能关闭，从而无论姿态如何，都是纵向画面模式。这是因为在纵向画面模式和横向画面模式中从输入输出端口24输出的输出图像数据是不同的，因此将其固定。

cpu20在重复显示区域25中显示产品输入栏60、机型输入栏62，在下部区域27中显示应当输入到产品输入栏60中的产品列表(步骤s12)。因此，会在hmd6中显示产品输入栏60、机型输入栏62。用户对触摸显示器22进行操作，从下部区域27中选择作为作业对象的产品(步骤s13)。

当选择了作为作业对象的产品时，cpu20将所选择的产品名显示于产品输入栏60，将应当输入到机型输入栏62的机型的列表显示于下部区域27(步骤s14)。图10b示出了显示例。用户对触摸显示器22进行操作，从下部区域27中选择作为作业对象的机型(步骤s15)。

如以上那样，当作为作业对象的产品名和机型名被确定时，cpu20针对该产品/机型而显示图10c所示的作业内容选择画面(步骤s16)。在图11中示出了作业内容选择画面的详细内容。在重复显示区域25中显示有用于选择作业内容的选择区域258。

在选择区域258中显示有与所确定的产品“汽车”/种类“k-120”相关的作业内容。在中央部分显示有作为候选的作业内容“发动机室保养”。当在该状态下输入确定命令时，会选择“发动机室保养”而将其确定为作业内容。

在该实施方式中，用户通过用声音发出“确定”而使麦克风37捕捉到该声音，cpu20通过声音分析(文本化)来识别出该声音是确定命令。作为声音输入以外的方法，例如，也可以通过按下按钮等来输入命令。

并且，在选择“发动机室保养”以外的作业内容的情况下，用声音来输入“上”命令或“下”命令。例如，当在图11的状态下输入“上”命令时，隐藏在“发动机室保养”的下侧的“制动器保养”位于中央部分而成为候选。当输入“下”命令时，隐藏在“发动机室保养”的上侧的“底盘保养”位于中央部分而成为候选。

在该实施方式中，在重复显示区域25的可显示命令区域256中，将可输入声音的命令以文字显示出。在图11中显示有“上”“下”“确定”“照相机”“作业结束”。即，在该画面中仅针对这些声音命令进行接收。按照每个画面而准备了可接收的声音/命令。

通过采用这种结构，用声音输入命令的用户可以理解只能接收在可显示命令区域256中显示的命令，从而能够发出准确的命令。并且，由于cpu20侧也针对在该画面中所能够输入的命令进行了限制，因此容易识别声音。而且，由于可显示命令区域256位于重复显示区域25，因此也会显示在hmd6中。因此，用户能够容易地确认该可显示命令区域256。

由用户发出并被准确识别出的命令显示在识别命令显示栏254中。在图11中，示出了“确定”命令被识别出的情况。

并且，在重复显示区域25中设置有声音波形窗口252。cpu20将从麦克风37获得的声音设为数字信号，在该声音波形窗口252中将该数字信号作为声音波形253显示出。此时，将声音识别所需的声音电平用线255一并显示出。这是为了示出进行准确的声音识别而需要的声音电平。因此，用户在发出命令时，能够通过观察声音波形253来调整发声的大小，以使发声的大小超过线255。

并且，在没有发声时，将环境噪音(周围的声音)的大小作为波形而显示出。如果此时的波形超过了线255，那么环境噪音过大，无法进行准确的声音识别。因此，能够由用户手动或自动地调整麦克风37的音量(可以是硬件也可以是软件)，以使环境噪音充分低于线255。

在图11中，cpu20在下部区域27中显示作业内容的一览表。由于下部区域27比重复显示区域25大，因此能够示出更多的作业内容。但是，下部区域27只显示于智能手机2。

用户通过观察hmd6的画面而用声音确定作业内容(步骤s17)。另外，也可以多次(多阶段)地进行步骤s16、s17中的作业内容的选择。

当选择并确定了作业内容时，cpu20将所确定的作业内容的工序一览表显示于下部区域27，在重复显示区域25中显示作业指示“请确认☆☆”，和如下的作业指示画面，该作业指示画面示出了针对作业对象部分预先准备的照片259(步骤s18)。然后，cpu20将指示内容从扬声器39以声音的方式输出。图12示出了作业指示画面。

用户接收该作业指示，一边参考示出作业部位或作业内容的照片259，一边进行作业。该照片被显示于hmd6。在照片259的下方示出了该作业内容的工序编号257，仅将当前的工序编号显示得较大。在图12中，在示出工序编号“1”～“5”的期间，只有“1”被显示得较大，表示当前的工序为“1”。

并且，在右下方显示有生产节拍261。生产节拍是该工序的处理时间。分母是预先设定的生产节拍，分子是到目前为止所需的时间。在附图中，显示为3/11，表示预定11秒完成的该工序从开始起经过了3秒。

当工序中的指示内容完成时，用户用声音输入命令。这里，由于是确认工序，所以如果确认的结果为合格，则输入“没问题”，如果是不合格，则输入“有问题”等声音命令(步骤s19)。如果是图12的例子，则输入“没问题”。

cpu20对应着工序记录该输入后的结果。并且，还记录生产节拍。cpu20判断在所选择的作业中是否存在未处理的工序(步骤s20)。如果存在未处理工序，则进入到下一个工序。反复进行步骤s18以下的步骤(步骤s21)。

图13示出了下一个工序的画面。工序编号“2”被放大显示。并且，在下部区域中，在作业结束了的工序中显示有复选标记。其他部分与图12的画面同样。

在这样的作业中，用户能够一边观察hmd6的画面，一边用声音进行操作。因此，能够在免提状态下集中精神进行作业。

当工序编号“5”结束时，cpu20返回到步骤s16而选择其他作业(步骤s16、s17)。

如以上那样，能够使用智能手机2和hmd6来进行作业的辅助。

另外，cpu20将作业的结果(各工序是合格还是不合格、生产节拍等)记录在非易失性存储器28中。

1.4其他

(1)在上述实施方式中，通过记录在智能手机2中的终端程序32来进行处理。但是，也可以预先将程序记录于服务器装置(未图示)，从智能手机2经由网络来使用该程序。在该情况下，由于信息集中在服务器装置中，所以在多人进行作业时，只要各自持有智能手机2便能够掌握其他人正在进行哪些作业。

图14示出了该情况下的画面例。在下部区域27和选择区域258的作业名的前面含有复选标记的作业是已结束的作业(也包含由其他用户完成的作业)，含有黑点的作业是其他用户正在实施的作业。

(2)在上述实施方式中，示出了为了辅助作业而使用的例子。但是，这是一个例子，在将智能手机2的重复显示区域25的显示内容显示于hmd6来使用的情况下，能够应用于各种情况。例如，可以将下部区域27作为用于进行操作的区域来使用，可以将重复显示区域25作为用于显示处理结果等的区域来使用。

(3)虽然在上述实施方式中，使用了智能手机2，但也可以使用平板电脑。

(4)在上述实施方式中，将智能手机2的画面固定成纵向。但是，如图15a所示，也可以将智能手机2的画面固定成横向，将其一部分(右上、左上、右下、左下或正中等)设为与hmd6重复的重复显示区域25。在附图中，将智能手机2的画面的左上的区域设为重复显示区域25，并显示于hmd6的显示区域7。其他区域27与上述实施方式的下部区域27对应。

在该情况下，智能手机2的输出图像数据与图15a相同。因此，转换器4切出预先确定的区域25而生成hdmi显示数据。

并且，也可以不将纵横切换功能关闭，在纵向画面时如图7a、图7b、图7c那样进行转换而输出，在横向画面时如图15a、图15b(以及以下的图15c、图15d、图15e等)那样进行转换而输出。在该情况下，只要能够从智能手机2的输出端口24输出当前的模式(纵向模式到横向模式)信息，并由转换器4接收该模式信息并了解当前模式即可。

另外，图15c、图15d、图15e示出了使智能手机2为横向画面时的显示画面(来自智能手机2的输出也相同)和hmd显示画面的变化。在图15c中，智能手机2的画面与hmd6的画面相同(全部是重复显示区域)。在图15d中，智能手机2的画面的中央上部是重复显示区域25，其他区域27与上述实施方式的下部区域27对应。在图15e中，智能手机2的画面的左侧是重复显示区域25，其他区域27与上述实施方式的下部区域27对应。

这些只是一个例子，能够将智能手机2的横向画面的任意的部分显示于hmd6。

(5)在上述实施方式中，在hmd6中仅显示智能手机画面的重复显示区域25。但是，也可以在hmd6中显示与智能手机画面相同的画面(包含区域27的画面)。并且，也可以通过开关等对这些画面进行切换。

(6)在上述实施方式中，在转换器4中具有hdmi转换器46。但是，转换器4也可以经由hdmi转换器(未图示)来取入来自智能手机2的输出端口的输出图像数据。在该情况下，在转换器4中不需要hdmi转换器。

(7)在上述实施方式中，构成为其他区域27比重复显示区域25大。但是，也可以设定为重复显示区域25一方较大。

(8)在上述实施方式中，通过转换器4来将重复显示区域25切出。但是，也可以通过记录在智能手机2中的应用来进行切出。在该情况下，只要从输出端口24输出仅切出了重复显示区域25的输出图像数据，并经由hdmi转换器赋予给hmd6即可。

(9)在上述实施方式中，在hmd6中仅显示重复显示区域25。但是，不仅可以显示重复显示区域25，还可以一并显示其他区域27(下部区域27)。在与不具有画面的计算机等连接的情况下，优选这样的显示方法。

(10)在上述实施方式中，转换器4通过线缆52、54与智能手机2、hmd6连接。但是，也可以通过蓝牙等无线通信来进行连接。

(11)在上述实施方式中，以hdmi数据为例来示出，但也可以应用于其他图像方式中。

(12)在上述实施方式中，将智能手机2的画面的一部分显示于hmd6。但是，也可以将本来应当显示于智能手机2的画面的一部分或全部只显示于hmd6，将智能手机2的触摸显示器22像触摸垫那样来使用。即，也可以通过触摸显示器22上的手指(也可以是触控笔)等的操作来使显示于hmd6的光标移动/操作。

(13)只要上述实施方式的内容及其他例子不违反其本质，便能够与其他实施方式组合而实施。

2.第2实施方式

2.1整体结构

在第1实施方式中，对预先会从智能手机2的输入输出端口24输出怎样的输出图像数据是已知的情况进行了说明。但是，即使是相同的纵向画面(横向画面)模式，有时输出图像数据也会因智能手机2的机型等而不同。在该情况下，会因机型不同而无法在hmd6中准确地显示重复显示区域25。因此，在本实施方式中，在终端程序32启动时进行初始设定，即使存在上述那样的因机型的不同而导致的输出图像数据的不同，也能够准确地进行显示关联。

图16示出了本发明的一个实施方式的关联显示系统的功能框图。作为便携式终端装置的智能手机2具有可进行触摸输入的触摸显示器22。智能手机2具有检测重力的方向的加速度传感器(未图示)，根据画面的朝向对纵向的图像数据和横向的图像数据进行切换而显示。

初始图像输出单元202根据当前的图像的朝向，将被设为能够确定重复显示区域25的初始图像显示于触摸显示器22。例如，在纵向图像的模式的情况下，如图16所示，显示如下的初始图像23：使重复显示区域25为灰色并用粗线包围外框，下部区域27为白色。由此，从输出部24输出例如附图所示的输出图像数据31。

图像方向固定单元21在输出上述初始图像时的模式下将图像方向固定。

转换装置4的转换顺序建立单元402接收输出图像数据31而从中识别出由粗线包围的灰色的重复显示区域35。例如，以输出图像数据31的左上为起点(0，0)来确定重复显示区域35的左上的坐标(x1，y1)和右下的坐标(x2，y2)。这里，以1个像素为坐标的1个单位。此外，转换顺序建立单元402记录左上的坐标(x1，y1)和右下的坐标(x2，y2)来作为用于切出重复显示区域35的信息。如以上那样，结束初始设定。

转换装置4将初始设定结束的情况发送到智能手机2。智能手机2执行由终端程序32进行的处理。之后的处理与第1实施方式同样。

根据该实施方式，能够按照不同机型的输出图像数据31的形态来自动地建立转换顺序，实现恰当的显示关联。

2.2系统结构·硬件结构

系统的结构与图2所示的同样。智能手机2的硬件结构与图3所示的同样。另外，在非易失性存储器28中记录有声音识别程序，该声音识别程序将从麦克风37输入的声音以文本的方式进行识别而确定指示命令。转换装置4的硬件结构与图4所示的同样。

2.3初始设定处理

在该实施方式中，在终端程序32启动时进行初始设定处理。该初始设定处理可以是终端程序32的一部分，也可以与终端程序32分开设置。

图17示出了终端程序32和转换程序50的初始设定时的流程图。智能手机2的cpu20(以下，有时省略为智能手机2)首先将纵横自动切换功能关闭，并固定为当前的画面模式(步骤s31)。如果当前的画面模式为纵向画面模式，则固定为纵向画面模式，如果是横向画面模式，则固定为横向画面模式。

接着，智能手机2生成初始图像，并将该初始图像显示于触摸显示器22(步骤s32)。图18a示出了显示于触摸显示器22的初始图像23的例子。初始图像23由重复显示区域25和下部区域27构成。下部区域27是白色的，重复显示区域25是灰色的。在重复显示区域25中，从左上向右下描绘区域线251。

智能手机2的输出到输入输出端口24的输出图像数据31根据机型而不同。例如，如图18b那样，在中央区域33的两端设置空白区域，在整体上输出横向的图像，或者如图18c那样，将初始图像23直接以纵向的图像来输出。

在该实施方式中，无论输出图像数据31的方式如何，都能够准确地进行与hmd6的显示关联。转换装置4的cpu40(以下，有时省略为转换装置4)判断是否接收到初始画面的输出图像数据31(步骤s41)。当接收到输出图像数据31时，转换装置4从输出图像数据31识别出重复显示区域35(步骤s42)。

这里，找到灰色的区域，取得其中描绘的区域线251的左上端、右下端的坐标。以输出图像数据31的左上为(0，0)，以1个像素为1个坐标要素来计算坐标。例如，如果输出图像数据31如图18b所示的那样为横向，并且是1920像素×1080像素，则右下的坐标为(1080，1920)。因此，如果是图18b的情况，则提取左上端(0，640)和右下端(160，1280)来作为重复显示区域35的位置。如果是图18c的情况(输出图像数据31的右下坐标为(1920，1080))，则提取左上端(0，0)和右下端(640，1080)来作为重复显示区域35的位置。

这样，无论是图18b的情况还是图18c的情况，都能够根据区域线251的左上端、右下端来确认重复显示区域35的位置。

另外，在上述中，利用以1个像素为一个单位的坐标来表示重复显示区域35的位置。但是，也可以以输出图像数据31的右下端为(100，100)，以标准化了的重复显示区域35的坐标来表示重复显示区域35的位置。

转换装置4将上述提取的重复显示区域35的坐标(左上端、右下端)记录在非易失性存储器44中(步骤s43)。因此，之后会根据该坐标来切出重复显示区域35，并生成hmd显示数据41。

当以上的初始设定结束时，转换装置4经由线缆52将该情况发送到智能手机2(步骤s44)。智能手机2接收该情况并执行以下处理(例如，图8的处理(除步骤s11之外))。

2.4其他

(1)在上述实施方式中，对如下的系统进行了说明：该系统自动地应对因机型不同而导致的重复显示区域35的切出位置的不同的情况。但是，在同一机型(同一智能手机)中，也可以使用如下的系统：该系统自动地应对因纵向画面和横向画面而导致的重复显示区域35的切出位置的不同。

(2)在上述实施方式中，使用区域线25来识别重复显示区域35。但是，也可以使用其他特别的标记、框等来识别重复显示区域35。

(3)在上述实施方式中，采用固定成输出初始图像时的画面模式的方式。但是，无论当前的画面的朝向如何，都可以固定为纵向画面模式或横向画面模式。

并且，也可以不固定画面模式(不关闭纵横自动切换功能)，而是根据画面的朝向来切换纵图像模式和横图像模式。在该情况下，每当切换图像模式时便进行初始设定处理。

(4)在上述实施方式中，从智能手机2输出能够区分出重复显示区域的初始画面，据此来确定重复显示区域的坐标并进行提取。但是，用户也可以预先输入智能手机2的机型和hmd6的机型(从智能手机2输入并发送到转换装置4)，根据该组合来预先准备表示重复显示区域的坐标位置的表格，并据此来切出重复显示区域。在该情况下，由于切出位置会根据纵向画面和横向画面而发生变化，所以优选将画面模式固定为任意一方。另外，也可以由转换装置4自动地取得智能手机2、hmd6的机型。

并且，也可以预先将纵向画面和横向画面中的重复显示区域的坐标位置记录在表格中，从智能手机2获取纵向画面或横向画面，切出重复显示区域。

此外，如果智能手机2或hmd6中的任意一方的机型被固定，则也可以预先根据另一方的机型将重复显示区域的坐标位置记录在表中。

(5)在上述实施方式中，在步骤s44中，从转换装置4发送初始设定结束这一信息，接收到该信息的智能手机2进行下一个处理。然而，也可以不从转换装置4发送初始设定结束这一信息，而是在智能手机2侧设定为从初始图像输出起经过规定的时间后则初始设定结束，进行下一个处理。

(6)在上述实施方式中，从智能手机2输出可区分重复显示区域的初始画面，据此来确定重复显示区域的坐标并进行提取。但是，如图18d所示，也可以将位于智能手机2的输出图像的左右端的黑图像区域37识别为非图像区域。在该情况下，也可以将区域35、33直接显示于hmd6、或者预先确定区域35的比率，并仅将区域35显示于hmd6。

(7)在上述实施方式中，是通过转换器4来进行转换顺序的建立和转换处理的。但是，也可以在智能手机2中进行这些处理。

(8)上述实施方式的内容和其他例只要不违反其本质便能够与其他实施方式组合而实施。