用于辅助在产品上执行任务的辅助方法，包括显示突出显示产品的被监测部件的突出显示图像与流程

本发明涉及下述类型的用于辅助操作员在产品上执行任务的辅助方法，包括叠加在包括产品的被监测部件的场景视图上地显示旨在辅助操作员执行任务的子任务的至少一个辅助图像的步骤，该子任务必须在该被监测部件上执行。

本发明还涉及用于辅助操作员在产品上执行任务的辅助系统，辅助系统包括被配置成用于叠加在包括产品的被监测部件的场景视图上地显示旨在辅助操作员执行任务的子任务的至少一个辅助图像的显示管理单元，该子任务必须在该被监测部件上执行。

背景技术：

通常，在已经生产产品之后，在对产品执行进一步操作之前或在将产品发送给客户之前，必须对所述产品进行质量控制以确保产品符合某些设定规格。存在这种质量控制，例如，用于控制机动车辆发动机的质量。

通常，这种质量控制由要求对产品执行控制列表的人工操作员来执行，每个控制包括验证产品的部件符合某些相应标准，并且至少在其中一个受控制的部件不符合相应标准的情况下报告缺陷。当产品属于包括数个变体的产品范围时，控制列表通常取决于该产品相应的变体。

通常，控制列表以用几个词总结每个控制的纸质表格提供，并且操作员将他的控制的结果写在所述表格上。这有几个缺点：

-该表格不是直观的并且要求操作员具有很多补充知识以便能够正确地执行控制，使得需要大量的训练时间对已经熟练的组装操作员进行训练；

-操作员倾向于过多地依赖于他的记忆力和技能，并且由于他的认知负担很高，这将导致他有可能无法正确地执行控制并且让一些错误和缺陷通过控制的风险；

-存在操作员错过某些控制线的风险，从而导致操作员无法控制某些缺陷的部件并且让一些错误和缺陷通过控制；以及

-控制的结果需要在第二天由其他操作员以数字形式输入，这导致时间浪费因为这需要重复输入两次数据并且延迟对缺陷的生产站进行检测。

响应于这些问题，已经提出了包括使用按钮作为质量控制报告装置的第一解决方案。然而，该第一解决方案无法帮助操作员根据产品相应的变体来了解如何操作控制，因此操作员的认知负荷仍然很高，操作员仍需要大量的补充知识，并且错误的风险仍然很高。

还已经提出了使用增强现实的第二解决方案，其中信息被显示在叠加在包括受控制的产品的场景视图上的显示表面上。然而，在该第二解决方案中，在显示表面上的信息的定位与场景视图中的受控制的产品的位置无关，并且该信息不允许操作员了解他应该将注意力集中在产品上的何处以执行每个控制。作为其结果，操作员的认知负荷仍然很高，该操作员仍然需要大量的补充知识，并且错误的风险仍然很高。

技术实现要素：

本发明的目的在于辅助操作员在产品上执行任务，以减少执行任务时来自操作员的错误的风险。本发明的特定目的在于减少执行任务时操作员的认知负担，减少操作员能够完成任务需要的知识，并防止操作员在执行任务时遗漏一些子任务。另一个目的在于促进操作员完成任务的报告。

为此，本发明涉及一种上述类型的辅助方法，其中，至少一个辅助图像包括至少一个突出显示被监测部件的突出显示图像。

据本发明的特定实施例，辅助方法还包括一个或多个以下被单独考虑或根据任何技术上可能的组合考虑的特征：

-至少一个突出显示图像，该突出显示图像包括围绕被监测部件并且优选地居中于所述被监测部件的环，和/或所述被监测部件的虚拟表示，所述虚拟表示被定位使得与场景视图中的被监测部件基本匹配；

-至少一个辅助图像被显示在至少一个显示表面上；

-场景视图由通过至少一个显示表面的场景视图组成；

-至少一个显示表面是头戴式显示设备的一部分，所述头戴式显示设备适合于由操作员以使得所述显示表面或每个显示表面面向他相应的眼睛的方式佩戴；

-至少一个显示表面包括主显示表面和副显示表面，至少一个辅助图像由包括在主显示表面上显示的主图像以及在副显示表面上显示的副图像的立体图像组成，所述主图像和副图像由从略微不同的角度观看的相同元素的图像组成；

-场景视图由视图源提供，并且方法进一步包括以下步骤：

ο跟踪视图源的从场景中的第一观看位置朝向第二观看位置的位移，在第一观看位置中产品占据具有相对于视图源的第一相对方位的第一相对位置，在第二观看位置中产品占据具有相对于视图源的第二相对方位的第二相对位置，

ο从第一相对位置和方位以及所跟踪的位移计算第二相对位置和第二相对方位的估计，以及

ο刷新至少一个辅助图像的显示以便将所述至少一个辅助图像调整为第二相对位置和方位的估计；

-视图源包括旨在由佩戴头戴式显示设备的操作员的至少一只眼睛占据的位置；

-第一观看位置由初始观看位置组成，其中第一相对位置和方位由负责显示至少一个辅助图像的显示管理单元已知的预定相对位置和方位组成；

-辅助方法包括以下步骤：为产品装备支撑件，该支撑件包括能够并且适合于接收视图源的插槽，当在产品上装备支撑件并且在所述插槽中接收视图源时，视图源被放置在所述初始观看位置，之后是将视图源放置在所述支撑件的插槽中的步骤；

-至少一个辅助图像包括至少一个引导图像，该至少一个引导图像突出显示放置视图源的区域以便在被监测部件上提供更好的视图；

-辅助方法包括以视图源与被监测部件的距离越过阈值距离的方式在场景中移位视图源的步骤，之后是修改至少一个辅助图像的至少一部分的位置的步骤；

-要执行的任务包括，并且特别由以下组成：产品的质量控制；

-产品包括，并且特别由以下组成：机动车辆的一部分，诸如机动车辆的发动机；

-辅助方法包括，在显示至少一个辅助图像之前，自动读取与产品相关联的识别码的步骤，之后是使用所述识别码自动检索要在产品上执行的至少一个子任务的列表的步骤，至少一个辅助图像旨在辅助操作员执行所述列表的子任务。

本发明还涉及上述类型的辅助系统，其中至少一个辅助图像包括至少一个突出显示被监测部件的突出显示图像。

根据本发明的特定实施例，辅助系统还包括一个或多个以下被单独考虑或根据任何技术上可能的组合考虑的特征：

-至少一个突出显示图像，该突出显示图像包括围绕被监测部件并且优选地居中于所述被监测部件的环，和/或所述被监测部件的虚拟表示，所述虚拟表示被定位使得与场景视图中的被监测部件基本匹配；

-辅助系统包括至少一个显示表面，显示管理单元被配置成在所述至少一个显示表面上显示至少一个辅助图像；

-场景视图包括由通过至少一个显示表面的场景视图组成；

-辅助系统包括包括至少一个显示表面的头戴式显示设备，所述头戴式显示设备适合于由操作员以使得所述显示表面或每个显示表面面向他相应的眼睛的方式佩戴；

-至少一个显示表面包括主显示表面和副显示表面，并且显示管理单元被配置成用于在主显示表面上显示主图像以及在副显示表面上显示副图像，所述主图像和副图像由从略微不同的角度观看的相同元素的图像组成，从而将至少一个辅助图像形成为由操作员的眼睛将主图像和副图像组合得到的立体图像；

-辅助系统包括视图源、至少一个传感器以跟踪视图源从场景中的第一观看位置，朝向第二观看位置的位移，在第一观看位置中产品占据具有相对于视图源的第一相对位置和第一相对方位，在第二观看位置中产品占据具有相对于视图源的第二相对位置和第二方位，并且显示管理单元被配置成从第一相对位置和方位以及所跟踪的位移计算第二相对位置和方位的估计，以及刷新至少一个辅助图像的显示以便将所述至少一个辅助图像调整为第二相对位置和方位的估计；

-视图源包括旨在由佩戴头戴式显示设备的操作员的至少一只眼睛占据的位置；

-辅助系统包括能够安装在产品上并且包括能够容纳视图源的插槽的支撑件，所述支撑件适合于使得，当其被安装在产品上并且在所述插槽中接收视图源时，视图源被放置在初始观看位置；

-第一观看位置由初始观看位置组成，其中第一相对位置和方位由显示管理单元已知的预定相对位置和方位组成；

-至少一个辅助图像包括至少一个引导图像，该至少一个引导图像突出显示放置视图源的区域以便提供在被监测部件上的更好的视图；

-显示管理单元被配置用于当视图源与被监测部件的距离越过阈值距离时，修改至少一个辅助图像的至少一部分的位置；

-要执行的任务包括，并且特别由以下组成：产品的质量控制；

-产品包括，并且特别由以下组成：机动车辆的一部分，诸如机动车辆的发动机；

-系统包括存储产品虚拟实体模型的存储器；

-系统包括存储要执行的至少一个子任务的列表的存储器、能够读取由产品佩戴的识别码的读取器、和被配置成使用由读取器读取的识别码在存储器中检索所述列表的配置单元，并且显示管理单元被配置成根据从存储器中检索到的相关列表显示至少一个辅助图像。

附图说明

本发明的其他特征和优点将在阅读以下仅作为示例提供并参考附图进行的描述后显现出来，其中：

-图1是根据本发明的辅助系统的示意图，

-图2是图1的辅助系统的头戴式显示设备的透视图，

-图3是由图1的辅助系统提供的第一显示的示例性视图，该第一显示叠加在包括必须在其上执行任务的产品的场景的第一视图上，

-图4是由图1的辅助系统提供的第二显示的示例性视图，该第二显示叠加在场景的第二视图上，

-图5是由图1的辅助系统提供的第三显示的示例性视图，该第三显示叠加在场景的第三视图上，

-图6是由图1的辅助系统提供的第四显示的示例性视图，该第四显示叠加在场景的第三视图上，

-图7是由图1的辅助系统提供的第五显示的示例性视图，该第五显示叠加在场景的第三视图上，

-图8是用图1的辅助系统实现的根据本发明的辅助方法的第一部分的框图，以及

-图9是图8的辅助方法的第二部分的框图。

具体实施方式

图1所示的辅助系统10旨在辅助操作员在产品12上执行任务(见图3)。要执行的任务特由产品12的质量控制组成，产品通常由诸如卡车(未示出)之类的机动车辆的发动机组成。

为此，辅助系统10包括前端显示设备14、后端服务器16和支撑件18。

参考图2，前端显示设备14由头戴式显示设备(在图8和图9中称为“hmd设备”)组成，该头戴式显示设备包括适合于安装在用户的头部上的框架20，以及被配置用于与具有放置在其头部上的框架20的用户交互的交互设备22。

框架20包括前梁24和从前梁24向头戴式显示设备14的后端突出投影的两个臂26，前梁24和臂26包围在一起的自由区域28旨在容纳用户的头部。

交互设备22包括主显示表面30、副显示表面32、用于在显示表面30、32上显示图像的显示管理单元34、用于跟踪相对于其参考位置和参考方位的头戴式设备14的位移的位移跟踪单元36、至少一个用于输入来自用户的语音的麦克风38、以及至少一个用于向用户输出声音的音频扬声器40。

主显示表面和副显示表面30、32以使得当用户佩戴头戴式显示设备14时，主显示表面30面向用户的第一只眼睛并且副显示表面32面向用户的第二只眼睛的方式放置在前梁24上。

这些显示表面30、32中的每一个都是透明的，使得佩戴头戴式显示设备14的用户可以通过所述显示表面30、32看到场景视图。因此，旨在由佩戴头戴式显示设备14的用户的眼睛占据的位置(未示出)形成了提供场景视图的视图源。

显示管理单元34包括用于在显示表面30、32上显示图像而不妨碍用户通过显示表面30、32视线的装置42、44。这些装置42、44通常由将显示的图像投影在主显示表面30上的主投影仪42，以及将显示的图像投影在副显示表面32上的副投影仪44组成。

显示管理单元34还包括电路(未示出)以操控投影仪42、44并计算要在显示表面30、32上显示的图像。该电路优选地被容纳在前梁24中并且包括，例如，至少一个处理器和至少一个存储器。

特别地，电路被配置成用于操控主投影仪42使得所述主投影仪42在主显示表面30上显示主图像，以及用于操控副投影仪44使得所述副投影仪44在副显示表面32上显示副图像，所述主图像和副图像由从略微不同的角度观看的相同元素的图像组成，并且适合于形成至少一个由操作员的眼睛将主图像和副图像组合的立体图像。

显示管理单元34可被配置为以便了解佩戴头戴式显示设备14的用户的眼睛相对于显示表面30、32所占据的位置。换句话说，显示管理单元34可被配置为以便了解相对于头戴式显示设备的视图源的位置。这允许显示管理单元34在场景视图中合适地放置至少一个立体图像。

位移跟踪单元36包括多个定位和方位传感器50、52、54以跟踪头戴式显示设备14的位移。

如这里所示的，这些传感器50、52、54优选地被容纳在前梁24中。它们包括至少一个用于捕获周围表面的图像的可见光谱跟踪相机50(在提供的示例中，所述相机50的数量为四个，其中两个位于前梁24的左侧，另外两个位于前梁24的右侧)，至少一个耦合到红外光源(未示出)，用于确定到附近表面的距离(例如，用于表面重建以建模用户环境)的红外光谱深度相机52，以及用于测量头戴式显示设备14的加速度和旋转的惯性测量单元54。

位移跟踪单元36进一步包括计算器(未示出)以接收由传感器50、52、54收集的数据，由此推导出头戴式显示设备14在现实世界中的位置和方位的估计，将该估计与参考位置和参考方位进行比较，并由此推导出相对于所述参考位置和参考方位的头戴式显示设备14的位移。该计算器优选地被容纳在前梁24中并且包括，例如，至少一个处理器和至少一个存储器。

位移跟踪单元36被配置成将计算出的估计提供给显示管理单元34。

头戴式显示设备14进一步包括至少一个用于捕获用户所见的标准视频的可见光谱标准相机56。如图所示，该标准相机56优选地容纳在前梁24中。

此外，头戴式显示设备14包括数据计算单元57其优选地如所示的被容纳在前梁24中。该数据计算单元57包括存储器(未示出)和与所述存储器相关联的处理器(未示出)，存储器存储至少一个适合于由处理器执行的软件程序。

头戴式显示设备14还包括通信单元58，特别是无线通信单元，以用于头戴式显示设备14与后端服务器16的通信。如所示的，该通信单元58优选地被容纳在前梁24内。

头戴式显示设备14进一步包括头带60以改善头戴式显示设备14在用户头部上的贴合度。该头带60被框架20环绕并且包围自由空间28。

头戴式显示设备14通常由设备组成。

后端服务器16包括通信模块62，特别是无线通信模块，以用于后端服务器16与头戴式显示设备14的通信。为此，通信模块62使用与头戴式显示设备14的通信单元58相同的通信协议。

后端服务器16进一步包括存储器64，其与产品12的标识符相关联地存储：

-所述产品12的虚拟三维实体模型，所述虚拟实体模型优选地包括由负责产品12开发的部门创建的产品12的精确数字化三维实体模型组成，该三维实体模型被转换为轻量级格式，优选地是其中实体模型具有不超过10万个切面的格式，

-初始相对定位信息，所述初始相对位置信息通常由虚拟实体模型的默认观看位置和方位组成，以及

-用于执行任务的在产品12上执行的子任务列表。

优选地，存储器64还存储至少一个其他实体模型、至少一个其他初始相对定位信息以及至少一个其他子任务列表，所述其他实体模型、初始相对定位信息和列表与产品12的标识符以外的其他标识符相关联。

支撑件18包括适合于在所述产品12上的预定位置处安装在产品12上的支架70、从所述支架70突出投影的臂72、以及用于容纳前端显示设备14的插槽74，插槽74被布置在臂72的与臂72连接到支架70的一端相反的一端上。支撑件18适合于，当将其安装在产品12上并且在插槽74中接收前端显示装置14时，使得前端显示设备14被放置在相对于产品12的初始观看位置。

支撑件18例如是3d打印的。

根据本发明，辅助系统10被配置成使得显示管理单元34可以叠加在从视图源提供的场景视图上地显示至少一个旨在辅助操作员执行其任务的辅助图像100、...、136(图3至图6)，所述至少一个辅助图像100、...、136由通过在主显示表面30上显示的主图像和在副显示表面32上显示的副图像的组合的立体图像组成。

为此，头戴式显示设备14设置了代码读取器和配置单元。

代码读取器通常以存储在头戴式显示设备14的数据计算单元57的存储器中并且适合于由所述数据计算单元57的处理器执行的软件程序的形式来提供。

代码读取器被配置用于接收由标准相机56捕获的图像，用于在所述图像中识别具有预定格式的识别码，并且用于将所述识别码解码为标识符。

配置单元通常以存储在头戴式显示设备14的数据计算单元57的存储器中并且适合于由所述数据计算单元57的处理器执行的软件程序的形式来提供。

该配置单元被配置成使用由代码读取器解码的标识符、虚拟实体模型、初始相对定位信息以及在所述存储器64中与所述标识符相关联的子任务的列表在服务器16的存储器64中进行检索。配置单元进一步被配置成为检索所述子任务列表中的每个子任务、部件信息、动作信息以及可选地与所述子任务相对应的图片和动画中的至少一个，并将虚拟实体模型和子任务列表连同所述部件信息、动作信息、图片和/或动画一起提供给显示管理单元34。

部件信息在虚拟实体模型中指定了必须在其上执行子任务的产品12的被监测部件的虚拟表示。

动作信息识别必须在被监测部件上执行以执行子任务的动作；例如，该动作由以下步骤之一组成：查看被监测部件以及测试要位移的被监测部件的能力。

图片通常由显示被监测部件处于符合质量控制要求状态的图片组成。

动画通常由显示了应如何执行动作的视频组成。

显示管理单元34被配置成取决于配置单元提供的虚拟实体模型、部件信息、动作信息、图片和/或动画来显示至少一个辅助图像100、...、136。

参考图3，显示管理单元34特别地被配置成显示至少一个由突出显示被监测部件的突出显示图像组成的辅助图像100、102。“突出显示被监测部件”是指至少一个突出显示图像100、102能够将佩戴头戴式显示设备14的操作员的注意力吸引到被监测部件上。为此，至少一个突出显示图像100、102在场景视图中被定位成与所述视图中的被监测部件的位置有特定的关系；换句话说，至少一个突出显示图像100、102具有相对于被监测部件的预定定位。至少一个突出显示图像100、102例如居中或叠加在所述被监测部件上。

这里的这些突出显示图像100、102的数量为两个并且包括围绕被监测部件特别是居中于所述被监测部件的环100，以及所述被监测部件的虚拟表示102，所述虚拟表示102被定位成使得与场景视图中的被监测部件基本匹配。替代地，至少一个辅助图像100、...、136包括由环100和虚拟表示102之一组成的单个突出显示图像100、102。

虚拟表示102通常由被监测部件的虚拟表示组成，其由显示单元34基于配置单元提供的部件信息从产品12的虚拟实体模型中提取。

显示管理单元34还被配置成显示至少一个由突出显示放置观察源的区域的引导图像组成的辅助图像104、106以提供被监测部件的更好的视图。该至少一个引导图像104、106旨在使得操作员可以通过仅围绕产品12一次执行全部任务，从而使操作员执行任务所需的步骤总数最小化，因此减少了完成该任务所需的时间。

为此，这里的这些引导图像104、106的数量为两个并且包括叠加在操作员应当站立以能够看到被监测部件的地板区域上的正方形104，以及指向所述地板区域的一连串箭头106。替代地，至少一个辅助图像100、...、136包括单个引导图像104、106，该单个引导图像104、106由正方形104和一连串箭头106之一组成。替代地，一连串箭头106被替换为单个箭头(未示出)。

显示管理单元34被配置成当在场景视图中看不到被监测部件时显示所述至少一个引导图像104、106。

参考图4，显示管理单元34进一步被配置成显示至少一个辅助图像108、110，该辅助图像108、110由旨在向操作员解释要执行的动作的动作解释图像组成。

这里，动作解释图像的数量是两个并且包括佩戴描绘要在被监测部件上执行的动作的象形图的遮挡物108，以及呈现由配置单元提供的图片和/或动画的框架110。

显示管理单元34被配置成显示遮挡物108使得其面向场景中被监测部件上的视图是最佳的位置。象形图取决于配置单元提供的动作信息；例如，如所示，当动作包括通过推动和拉动所述被监测部件来测试移置被监测部件的能力时，象形图由两个相反的向右箭头组成，当动作包括通过旋转被监测部件来测试移置被监测部件的能力时，象形图由两个相反的弯曲箭头(未示出)组成，或者当动作仅包括观看被监测部件时，象形图由眼睛组成。

显示管理单元34被配置成将遮挡物108定位成与环100相邻，优选地在与所述环100基本相同的平面中。

此外，显示管理单元34被配置成显示由验证标记112和缺陷标记114组成的辅助图像112、114，所述标记112、114优选地如所示的被定位成与遮挡物108相邻，基本上在与所述遮挡物108相同的平面，验证标记112通常位于遮挡物108上方并且缺陷标记114通常位于遮挡物108下方。

此外，显示管理单元34被配置成显示由旨在向操作员通知他在完成任务中的推进情况的任务推进图像组成的辅助图像116。

这里，该任务推进图像116包括处于由操作员执行的状态的子任务的序数118；如所示的，该序数118有利地被突出显示。任务推进图像116进一步包括关于在完成任务之前仍要执行的剩余子任务的信息120，这里，该信息由所述剩余子任务的序数122、124提供，所述序数122、124没有被突出显示并且定位在序数118的第一侧上。有利地，任务推进图像116还包括关于已完成的子任务的状态的信息126；该信息有利地如所示的定位于序数118的与第一侧相反的第二侧上，并且优选地如所示的被提供为用于操作员已验证受控制的部件符合质量控制要求的子任务的验证标记128，并且被提供为用于操作员已发信号通知受控制的部件不符合质量控制要求的子任务的缺陷标记130，这里，所述标记128、130以与执行这些子任务的顺序相同的顺序排列。

显示管理单元34特别地被配置成：当视图源与被监测部件的距离在阈值距离之上时，将任务推进图像116显示为在产品12上方浮动的转盘，如图3和图4所示，所述转盘被定向成使得序数118面向视图源，当视图源与被监测部件的距离在所述阈值距离之下时，将任务推进图像116显示为与环100相邻的并且基本上放置在与所述环100相同的平面上的一连串图标，如图5所示。因此，显示管理单元34被配置成当视图源与被监测部件的距离越过阈值距离时修改任务推进图像116的位置。

此外，显示管理单元34被配置成显示由用于访问操作员的统计的统计按钮组成的辅助图像132。如所示的，当视图源与产品12的距离在阈值距离之上时，该统计按钮132优选地被集成在转盘中，并且当视图源与产品12的距离在阈值距离之下时，该统计按钮132优选地被定位成与环100相邻。

此外，如图6所示，当操作员已经提供了相应的指令例如作为语音指令，或作为示出操作员意图点击统计按钮132的手部移动时，显示管理单元34被配置成显示由统计菜单组成的辅助图像134。

显示管理单元34被配置成将统计菜单134显示为叠加在场景视图上，并且示出操作员工作的控制小时数、检测到的缺陷数和经验证的产品数的窗口。

此外，如图7所示，当操作员已经提供了被监测部件是有缺陷的指令，例如作为语音指令，或作为示出操作员意图点击缺陷标记114的手部移动，或作为语音指令和操作员的手部的特定移动的组合时，显示管理单元34被配置成显示由缺陷菜单组成的辅助图像136。

显示管理单元34被配置成将缺陷菜单136显示为叠加在场景视图上并且列出缺陷原因的列表的窗口，包括例如：

-错误的组装；

-缺少的部件；

-破裂的部件；

-干扰或冲突；

-错误的方位；

-泄漏；以及

-错误的部件。

为了在场景视图中适当地定位至少一个辅助图像100、...、136，并为了取决于视图源的位置和方位显示适当的辅助图像100、...、136，显示管理单元34被配置成计算相对于产品12的视图源的相对位置和的方位的估计，并根据所述相对位置和方位的估计来调整至少一个辅助图像100、...、136。显示管理单元34进一步被配置成以预定频率更新估计的位置和方位的计算，并且以相同的频率刷新至少一个辅助图像100、...、136的显示，以便连续地将所述至少一个辅助图像100、...、136调整到所述估计的相对位置和方位。优选地，该频率等于或高于60hz。

为了计算相对于产品12的视图源的相对位置和方位的估计，位移跟踪单元36被配置成将在现实世界空间中的头戴式显示设备14的位置和方位的估计记录为参考位置和参考方位，并且显示管理单元34被配置成根据由配置单元提供的预定相对位置信息和由位移跟踪单元36提供的计算出的位移来计算相对位置和方位的估计。

辅助系统10进一步被配置成记录操作员关于其任务执行的报告。为此，头戴式显示设备14提供有报告单元。

报告单元通常以存储在头戴式显示设备14的数据计算单元57的存储器中并且适合于由所述数据计算单元57的处理器执行的软件程序的形式来提供。

报告单元被配置成记录由配置单元检索的子任务列表中列出的每个子任务的状态，该状态可以是验证状态或缺陷状态。

报告单元被配置成在接收到操作员提供的验证指令时记录验证状态。该验证指令优选地包括口头指令和/或操作员的手部的特定位移，例如标记操作员意图点击验证标记112的位移。

报告单元被配置成在接收到操作员提供的缺陷报告时记录缺陷状态。该缺陷报告优选地包括口头指令和/或操作员的手部的特定位移，例如标记操作员意图点击缺陷标记114的位移。

报告单元进一步被配置成针对每个缺陷状态记录缺陷原因。当接收来自操作员的指定了由缺陷菜单136列出的缺陷原因中的一个被指定原因的信息时，记录该缺陷原因，该信息例如为口头短语和/或操作员的手部的特定位移，例如标记操作员意图点击缺陷菜单136中的缺陷原因的位移。

此外，报告单元被配置成将记录的状态提供给显示管理单元34和服务器16。报告单元被配置成将记录的缺陷原因提供给服务器16。

现在将参考图8和图9描述用于使用辅助系统10来辅助操作员对产品12执行质量控制的辅助方法200。

该辅助方法200首先包括配置步骤210。

在该配置步骤210期间，操作员将头戴式显示设备14靠近产品12，以放置与产品12相关联的识别码140(图3)，例如放置在标准相机56的视野中的所述产品12上。结果，在第一子步骤212期间，代码读取器读取识别码140，并且将其解码为提供给配置单元的标识符。然后，在第二子步骤214期间，配置单元使用由代码读取器解码的标识符、虚拟实体模型、初始相对定位信息、以及在所述存储器64中与所述标识符相关联的子任务的列表在服务器16的存储器64中进行检索，并且将虚拟实体模型连同子任务列表、初始相对定位信息、以及列表中的每个子任务、部件信息、动作信息、以及可选地与所述子任务相对应的图片和动画中的至少一个提供显示管理单元34。

步骤210之后是初始化步骤220。

该初始化步骤220包括将支撑件18装备在产品12上的第一子步骤222，之后是将头戴式显示设备14放置在支撑件18的插槽74中的第二子步骤224，然后是例如通过操作员按下头戴式显示设备14上的按钮或在头戴式显示设备14的相机50、52、56之一的视野中执行预定手势，通知头戴式显示设备14该放置已完成的第三子步骤226。结果，位移跟踪单元36在第四子步骤228期间将现实世界空间中的头戴式显示设备14的位置和方位的当前估计设置为参考位置和参考方位，并且开始跟踪相对于这些参考位置和方位的头戴式显示设备14的位移。

初始化步骤220之后是佩戴头戴式显示设备14的步骤230，在此期间操作员将头戴式显示设备14安装在他的头上。在该佩戴步骤之后，可选地，进行校准步骤240，在校准步骤240期间，通过显示管理单元34记录操作员的乳头肌间距离以使由显示管理单元34显示的图像适应于所述乳头肌间距离。

除了佩戴步骤230并且在合适的情况下还包括校准步骤240，方法200包括辅助步骤250，在该辅助步骤250期间，系统10辅助操作员完成任务的子任务，为此操作员必须在产品12的被监测部件上执行动作。

在该辅助步骤250的第一示例处，该子任务由配置单元检索的列表中提到的第一子任务组成。

这里，在该步骤250的第一示例的开始处，操作员与被监测部件的距离在阈值距离之上并且注视产品12，使得操作员观看包括产品12的场景的第一视图。然而，他所处的位置使得他无法直接观看到被监测部件。相应的场景的第一视图如图3所示。

该辅助步骤250包括显示一般辅助图像的第一子步骤251。该子步骤251包括由显示管理单元34显示叠加在场景视图上的任务推进图像116，作为产品12上方的转盘。

辅助步骤250还包括与第一子步骤251基本同时的第二子步骤252，该第二子步骤252显示用于执行子任务的相关辅助图像。在该第二子步骤252期间，显示管理单元34显示引导图像104和106以将操作员引导至他将直接观看到被监测部件的位置。显示管理单元34还显示叠加在场景视图上的突出显示图像100、102、动作图像108、验证标记112和缺陷标记114。替代地，仅在操作员直接观看到被监测部件时才显示图像100、102、108以及标记112和114。

在该第二子步骤252期间，显示管理单元34从初始相对位置信息以及自从初始化步骤220以来由位移跟踪单元36跟踪的位移中推导出相对于视图源的估计的产品12的当前相对位置和方位，并且将图像100，...，108、112、114调整为所述估计的当前相对位置和方位。

在第一和第二子步骤251、252之后是位移子步骤253，在位移子步骤253期间，操作员朝向由正方形104突出显示的区域移动直到他获得他直接观看到被监测部件的场景的第二视图为止。该第二个视图如图4所示。

在该位移子步骤253期间，显示管理单元34以预定频率更新估计的位置和方位的计算，并且以相同的频率刷新图像100、108、112、114的显示以便连续地调整所述图像100、108、112、114到所述估计的相对位置和方位。一旦操作员到达他直接观看到被监测部件的位置时，显示管理单元34刷新图像100，...，108、112、114的显示以去除引导图像104、106。

子步骤253之后是操作员请求显示诸如产品12的计划的附加信息的步骤254，之后是显示管理单元34在框110中显示提供所述附加信息的图像的步骤255。

然后，操作员在子步骤256期间接近被监测部件，直到操作员的眼睛与被监测部件的距离在阈值距离以下的位置为止，并且操作员观看如图5所示的场景中的第三视图。

在该子步骤256期间，视图源与被监测部件的距离越过阈值距离。作为其结果，任务推进图像116的显示从转盘形状改变为图5所示的形状，其中该任务显示图像被显示为与环100相邻的一连串图标。

此外，在该子步骤期间，显示管理单元34保持更新估计的位置和方位的计算，并且刷新图像100，...，108、112、114的显示。

接下来，在子步骤257期间，操作员执行遮挡物108中所示的动作。如果操作涉及操纵被监测部件，操作员仅需要尝试抓住其虚拟表示102，然后他的手自然地落在被监测部件上。

在步骤250之后，方法200包括报告在被监测部件上执行的控制结果的步骤260。

该步骤260包括第一子步骤261，在该子步骤中操作员向报告单元提供验证指令或缺陷指令，之后是相应地将子任务的状态更新为验证状态或缺陷状态的报告单元的子步骤262。

如果更新后的状态是缺陷状态，则子步骤262之后是操作员将缺陷原因提供给报告单元的子步骤263，之后是记录该缺陷原因的子步骤264，接着是发送子步骤265。如果所报告的指令是验证指令，则子步骤262之后直接是发送子步骤265。

在发送子步骤265期间，子任务的状态由报告单元发送到服务器16和显示管理单元34。在发送的状态是缺陷状态的情况虾，则向服务器16的发送伴随着缺陷原因的发送。

在发送子步骤265之后是显示管理单元34依据发送的状态更新任务推进图像116的子步骤266。

步骤260之后是检查已执行的子任务是否为列表的最后一个任务的步骤270。如果是这种情况，则方法结束200，并且将头戴式显示设备14放置在等待步骤中。如果执行的子任务不是列表中的最后一个任务，那么使用列表中提及的之后的子任务重复执行步骤250、260和270。应当注意的是，当重复步骤250时，操作员现在可以被放置在他直接观看被监测步骤的位置，在这种情况下第二子步骤252将不包括引导图像104和106的显示。

由于上述发明，操作员能够取决于他必须控制的变量集中精力进行正确的质量控制。此外，由于将操作员从子任务引导至之后的子任务，因此他不可能错过控制。结果，显著降低了错误的风险。

此外，操作员能够解放双手地执行其控制：因此有助于质量控制。

此外，由于控制通道已从头到尾完全数字化，因此消除了与依序进行纸张打印有关的成本和活动，并且可以使用能够迅速反应以解决可能出现在组装线中的反复出现的错误的实时质量关键性能指标。

应当注意的是，即使上述示例是针对前端显示设备14由平视显示设备组成的特定情况提供的，但是本发明不限于这种情况。作为替代方案(未示出)，前端显示设备14由诸如实施技术的平板电脑的平板电脑组成，视图源是平板电脑的相机，然后场景视图是由相机捕获的并复制到平板电脑屏幕上的视图。

还应当注意的是替代方案也可用于初始化步骤220。代替上述部分自动化的步骤，步骤220可以由完全手动的步骤组成，包括以下子步骤：

-由显示管理单元34显示产品12的整个虚拟实体模型的图像，

-场景中操作员的位移，直到他到达虚拟实体模型的图像与产品12相匹配的位置和方位为止，或者由操作员控制他的场景视图中虚拟实体模型的图像的位移，直到虚拟实体模型的图像达到与产品12相匹配的位置为止，以及

-由用户验证在场景中已经达到了虚拟实体模型的正确定位。