本发明涉及头戴式显示器以及图像处理方法。
背景技术：
以往提出了许多这样的系统：为了能够在餐厅等提供饮食品的设施中有意义地度过到备餐前的等待时间或餐后的短暂时刻而提供游戏等娱乐。
例如，公开了这样的系统等：通过将菜单等显示作为游戏要素的游戏事先以游乐形式、或者有奖、竞猜等形式设定于管理计算机，用户通过触摸操作在设置于餐厅的餐桌的触摸面板中所显示的游戏显示，从而能够在面板上执行游戏(例如，专利文献1)。
在这样的餐厅等设施中所提供的娱乐的目的大多是在包括结账时等在内的饮食前后的时间里进行消遣(例如，专利文献2)。
现有技术文献
专利文献
专利文献1：日本特开2003－317155号公报
专利文献2：日本特开2004－057212号公报
技术实现要素：
发明的概要
发明要解决的问题
然而，近年来，随着独自一人进入咖啡厅或餐厅的顾客的增多，而有这样的要求：通过在用餐过程中还提供使顾客更加享受用餐的附加性服务，来为顾客提供对饮食的高度满足感。
因此，本发明的目的在于，提供能够让顾客更加享受饮食的头戴式显示器及图像处理方法。
用于解决技术问题的技术方案
为了解决上述技术问题，本发明所涉及的头戴式显示器是一种在提供饮食品的设施中由顾客佩戴的头戴式显示器，包括：显示部，其显示图像内容；获取部，其依次获取由拍摄装置拍摄到的规定的饮食品的图像；判定部，其判定相对于由获取部在第一获取时获取到的饮食品的图像的、由获取部在第二获取时获取到的该图像有无规定的变化；以及图像处理部，在由判定部在第二获取时判定为饮食品的图像与第一获取时获取到的饮食品的图像相比存在了变化的情况下，该图像处理部对图像内容添加第一规定的变化。
发明效果
根据本实施方式，随着顾客的饮食而对视频内容包含的图像附加变化，因此，在餐厅等的饮食设施中，顾客能够更加享受饮食。并且，根据本实施方式，按照顾客的各种的饮食状态、动作而使附加到视频内容包含的图像的变化不同，因此，能够享受更富有丰富多彩的饮食时间。
附图说明
图1是表示本实施方式中的头戴式显示器的概要的示意图。
图2是表示本实施方式中的头戴式显示器的功能结构的一个例子的框图。
图3是表示本实施方式中的对提供给顾客的饮食品的图像赋予了表示饮食品的减少量的识别信息的图像的一个例子的图。
图4是表示本实施方式中的基于顾客的饮食而提供的饮食品的减少量的一个例子的图。
图5是表示对本实施方式的视频内容包含的规定的图像附加的规定的变化的一个例子的图。
图6是表示本实施方式中的变化附加规则的一个例子的图。
图7是表示本实施方式中的针对基于头戴式显示器的视频内容的图像的、变化的附加处理的流程的流程图。
图8是表示在检测出本实施方式中的顾客的规定的动作的情况下的、针对基于头戴式显示器的视频内容的图像的、变化的附加处理的流程的流程图。
图9是表示在本实施方式中的顾客在食用完饮食品的情况下的、针对基于头戴式显示器的视频内容的图像的、变化的附加处理的流程的流程图。
图10是表示能够实现本实施方式中的控制装置的计算机的一个例子的硬件结构图。
附图标记说明
100头戴式显示器
101控制部
102操作接收部
103获取部
104检测部
105判定部
106图像处理部
107显示控制部
110控制装置
120存储部
130拍摄装置
140显示部
200马卡龙
300松饼
400咖啡
具体实施方式
以下使用附图对本发明所涉及的头戴式显示器及图像处理方法的实施方式进行说明。需要说明的是，本发明不被本实施方式限定。
图1是表示本实施方式中的头戴式显示器的概要的示意图。如图1所示，头戴式显示器100由太阳镜的形状形成，具备控制装置110、拍摄装置(相机)130、显示部140。头戴式显示器100在餐厅、咖啡厅等提供饮食品的设施(以下简称“饮食设施”)中由顾客佩戴。需要说明的是，头戴式显示器100的形状除太阳镜的形状之外，也可以是护目镜的形状等其他的形状。
图2是表示本实施方式中的头戴式显示器100的功能结构的一个例子的框图。以下，使用图2对头戴式显示器100的功能结构进行说明。
如图2所示，头戴式显示器100包括控制装置110、拍摄装置130及显示部140。
控制装置110包括存储部120和控制部101。需要说明的是，在本实施方式中，例示了头戴式显示器100具备控制装置110的结构，但不限于此，例如，也可以采用如下结构：外部的终端(未图示)具有控制装置110和通信控制部(未图示)，头戴式显示器100具有通信控制部(未图示)，通过通信处理输出到头戴式显示器100的显示部140的图像。
存储部120存储含有角色、风景等图像的图像内容、变化附加规则等。在此，图像内容是指含有静态图像、影像、语音等的数据，在本实施方式中，以下，例示视频内容进行说明。并且，变化附加规则是指制定了如下的规定的变化的规则，即经由拍摄装置130获取到的提供给顾客的饮食品或载置有饮食品的餐具(以下，如无特别明示的情况下均称为“餐具”)的图像的规定的变化或者与基于顾客的规定的动作相关联的、对视频内容含有的规定的图像附加的规定的变化。在此，饮食品或餐具的图像的规定的变化是指，提供给顾客的饮食品被顾客饮食而减少的变化。并且，基于顾客的规定的动作是指，利用勺子等向显示有视频内容含有的角色图像的方向运送饮食品，并将饮食品分给角色这样的动作等。
图3是表示对提供给顾客的饮食品的图像赋予了表示饮食品的减少量的识别信息的图像的一个例子的图。在存储部120中事先保存有与饮食设施提供的菜单对应的饮食品的图像，该饮食品的图像中被附加有能够识别因顾客的饮食而减少的饮食品的量的信息。图3(a)是表示提供马卡龙时的图像的图，马卡龙200的盘子里载置有三个马卡龙：带斜线的马卡龙200a、带点图案的马卡龙200b、带网图案的马卡龙200c。马卡龙200a至马卡龙200c分别用不同的颜色识别，例如，马卡龙200a可为红色，马卡龙200b可为黄色，马卡龙200c可为白色等。并且，图3(b)是表示提供松饼时的图像，松饼300被标记为松饼300a至300f，松饼300a至300f带有表示分割成6等份的实线。并且，图3(c)是表示提供咖啡时的图像的图，咖啡杯400上附加有表示咖啡位于咖啡杯400中的位置的刻度400a至400d。需要说明的是，在图3中，作为表示饮食品的减少量的标记使用符号进行说明，然而不限于此，也可在表示饮食品的减少量的各图像上附加二维码或图案等，并通过这些方式进行识别。
图4是表示基于顾客的饮食而提供的饮食品的减少量的一个例子的图。图4(a)表示图3(a)所示的马卡龙200中带点图案的马卡龙200b消失的状态。并且，图4(b)中，图3(b)所示的被分割成6等份的松饼300中的松饼300b和松饼300c的切块消失。进而，图4(c)表示图3(c)所示的咖啡杯400中咖啡的位置即图3(c)中的原本在刻度400a的位置的咖啡的量减少到刻度400c的位置的状态。
图5是表示对视频内容含有的规定的图像附加的规定的变化的一个例子的图。图5(a)是表示视频内容含有的角色图像且未被附加变化的状态的图。例如，视频内容是图5(a)所示的兔子角色登场并与顾客一同饮食的视频，在给顾客提供饮食品的时刻，显示出兔子面无表情地坐在椅子上的图像。并且，图5(b)是表示附加在视频内容含有的角色图像的第一变化的图。在图5(b)中，随着顾客的饮食而饮食品的量减少，从而兔子的图像由图5(a)的图像变更为表示高兴的表情及动作的图像。并且，图5(c)是表示附加在视频内容含有的角色图像的第二变化的图。在图5(c)中，在检测到顾客让兔子食用饮食品这样的规定的动作的情况下，从图5(a)的图像变更为兔子的背景中出现城堡的图像。并且，图5(d)是表示附加在视频内容含有的角色图像的第三变化的图。在图5(d)中，在检测到顾客食用完提供的饮食品的情况下，从图5(a)的图像变更为兔子的周围开花的图像。需要说明的是，附加在这些图像上的变化只是一个例子，除此之外，也可是兔子讲述规定的故事或是角色增加等多种多样的变化。
图6是表示变化附加规则的一个例子的图。如图6所示，视频的变化id与表示饮食品或餐具的图像的状态的饮食品的量的变化id相关联。在图6所示的变化附加规则中，将饮食品的量没有变化的状态(提供时)的视频的变化id设为“a000”(表示无变化的图5(a))，将饮食品减少规定量时的视频的变化id设为“b001”(表示第一变化的图5(b))，将检测到让角色食用饮食品的动作时的视频的变化id设为“b002”(表示第二变化的图5(c))，将饮食品的图像全部消失时(食用完时)的视频的变化id设为“b003”(表示第三变化的图5(d))，视频的变化被分类为三种。例如，没有附加视频的变更的视频的变化id“a000”与表示饮食品或餐具的图像的状态“马卡龙200(提供时)”的饮食品的量的变化id“a200”相关联，附加有视频的变更的视频的变化id“b001”与表示饮食品或餐具的图像的状态“马卡龙200a至200c中的任一个的减少”的饮食品的量的变化id“b200”相关联。存储部120中保存有提供给顾客的状态的饮食品或餐具的图像、以及饮食品逐渐减少规定量的图像。并且，对于视频内容的规定的变化是指对视频内容含有的图像附加的规定的变化。并且，规定的识别信息是指，只要是能够识别饮食品的量减少的情况的信息即可，可以是二维码、图案等。需要说明的是，在本实施方式中，视频的变化的种类虽分类为三种，但既可是一种，还可分类为多种。
控制部101包括操作接收部102、获取部103、检测部104、判定部105、图像处理部106以及显示控制部107。
操作接收部102接收业务员或顾客等用户对头戴式显示器100的电源按钮(未图示)的打开或关闭等的操作。并且，操作接收部102在存储部120保存有多个视频内容的情况下，接收从多个视频内容中要视听的视频内容的选择等。
显示控制部107在通过操作接收部102接收到打开电源的操作时，将存储在存储部120的视频内容输出显示到显示部140。并且，显示控制部107将由图像处理部106生成的对视频内容的图像附加了变化的图像输出至显示部140。
显示部140是头戴式显示器100中的杯状的镜片，影像(图像内容)被投影在镜片上。需要说明的是，作为其他的例子，也可以采用这样的结构：通过配置在成为显示部140的镜片中的影像生成元件(例如，透视oled显示屏)等生成影像之后，将生成的影像显示到显示部140。
拍摄装置130是具有镜片的相机，被搭载于头戴式显示器100的显示部附近。需要说明的是，只要是能够拍摄顾客饮食的餐桌上的饮食品，拍摄装置130可以搭载于头戴式显示器100的任意位置。并且，拍摄装置130除了搭载于头戴式显示器100之外，还可设置于能够拍摄顾客饮食该饮食品的饮食设施内。
获取部103依次或连续地获取由拍摄装置130拍摄到的包含饮食品及餐具在内的图像。在此，虽然由获取部103进行的饮食品及餐具的图像的获取是依次或连续地获取，但在下述的关于饮食品或图像的获取有无变化的说明中，使用第一获取时、第二获取时这样的用语来识别获取时，并明确记载图像的获取时刻。并且，第一获取时与第二获取时之间的时间只要是规定的时间差即可，第一获取时与第二获取时之间的时间也可不必是每次恒定的时间。
检测部104检测由拍摄装置130拍摄到的顾客的规定的动作。例如，检测部104检测以下动作：向视频内容含有的角色图像显示在显示部140的方向利用勺子等运送饮食品、并将饮食品分给角色的动作等的、顾客对于视频内容的显示图像的动作。
判定部105判定获取部103在第二获取时相对于由获取部103在第一获取时获取到的饮食品的图像或餐具的图像中包含的饮食品的图像(以下，如无特别明示的情况下统称为“饮食品的图像”。)有无规定的变化。具体来说，判定部105将获取部103在第二获取时的饮食品的图像与在第一获取时的饮食品的图像进行比较，来判定有无与被登记在储存于存储部120的变化附加规则的饮食品的量的变化id对应的变化。
并且，判定部105判定饮食品是否被顾客食用完。具体来说，判定部105在由获取部103获取的图像中，在载置有饮食品的餐具的图像不含有饮食品时，判定为饮食品被食用完。
在由判定部105判定为第二获取时的饮食品的图像与第一获取时由获取部103获取到的饮食品的图像相比，存在有与饮食品的量的变化id对应的变化的情况下，图像处理部106对视频内容附加规定的变化。具体来说，图像处理部106获取与登记到变化附加规则中的饮食品的量的变化id相关联的视频的变化id，生成附加了被获取到的视频的变化id识别的视频的变化的图像。
接下来，说明对基于头戴式显示器100的视频内容的图像的、变化的附加处理。图7是表示针对基于头戴式显示器100的视频内容的图像的、变化的附加处理的流程的流程图。
显示控制部107将存储在存储部120的视频内容的显示信息输出显示到显示部140(步骤s1)。获取部103经由拍摄装置130依次获取载置在顾客的餐桌上的饮食品或餐具的图像(步骤s2)。
判定部105判定在步骤s2中获取到的饮食品或餐具的图像是否有规定的变化(步骤s3)。具体来说，判定部105参考变化附加规则，比较在步骤s2中依次获取的饮食品或餐具的图像中的、在第一获取时获取到的图像和在第二获取时获取到的图像，判定在第二获取时获取到的图像所示的饮食品的量与在第一获取时获取到的图像所示的饮食品的量相比是否减少了规定量。
图像处理部106在步骤s3中通过判定部105判定为饮食品或餐具的图像存在了规定的变化时(步骤s3：是)，对视频内容含有的规定的图像附加第一变化(步骤s4)。具体来说，图像处理部106参考变化附加规则，生成与视频的变化id“b001”相对应的图3(b)的图像，且显示控制部107将生成的图像显示到显示部140。另一方面，在步骤s3中通过判定部105判定为饮食品或餐具的图像没有规定的变化时(步骤s3：否)，返回到步骤s2继续进行处理。
接下来，对检测到顾客的规定的动作时的、针对基于头戴式显示器100的视频内容的图像的、变化的附加处理进行说明。图8是表示在检测出顾客的规定的动作时的、针对基于头戴式显示器100的视频内容的图像的、变化的附加处理的流程的流程图。
显示控制部107将存储于存储部120的视频内容的显示信息输出显示到显示部140(步骤s11)。获取部103依次获取放置在顾客的餐桌上的饮食品或餐具的图像(步骤s12)。
判定部105判定利用检测部104是否检测出基于顾客的规定的动作(步骤s13)。判定部105在步骤s13中判定为由检测部104检测出基于顾客的规定的动作的情况下(步骤s13：是)，判定在步骤s12中由获取部103获取到的饮食品或餐具的图像是否存在了规定的变化(步骤s14)。具体来说，判定部105参考变化附加规则，比较在步骤s13中依次获取的饮食品或餐具的图像中的、在第一获取时获取到的图像和在第二获取时获取到的图像，判定在第二获取时获取到的图像所示的饮食品的量与在第一获取时获取到的图像所示的饮食品的量相比是否减少了规定量。另一方面，在步骤s13中，当判定部105没有判定出由检测部104检测出基于顾客的规定的动作时(步骤s13：否)，继续进行步骤s13的处理。
图像处理部106在步骤s14中由判定部105判定出饮食品或餐具的图像上有规定的变化时(步骤s14：是)，对视频内容含有的图像附加第二变化(步骤s15)。具体来说，图像处理部106参考变化附加规则，生成与视频的变化id“b002”相对应的图3(c)的图像，由显示控制部107将生成的图像显示到显示部140。另一方面，在步骤s14中由判定部105判定出饮食品或餐具的图像没有规定的变化时(步骤s14：否)，返回到步骤s12继续进行处理。
接下来，对顾客食用完饮食品的情况下的、针对基于头戴式显示器100的视频内容的图像的、变化的附加处理进行说明。图9是表示在顾客在食用完饮食品的情况下的、针对基于头戴式显示器100的视频内容的图像的、变化的附加处理的流程的流程图。
显示控制部107将存储于存储部120的视频内容的显示信息输出显示到显示部140(步骤s21)。获取部103依次获取放置在顾客的餐桌上的饮食品或餐具的图像(步骤s22)。
判定部105判定在步骤s22中获取到的饮食品或餐具的图像是否存在了规定的变化(步骤s23)。具体来说，判定部105参考变化附加规则，比较在步骤s22中依次获取的饮食品或餐具的图像中的、在第一获取时获取到的图像和在第二获取时获取到的图像，判定在第二获取时获取到的图像所示的饮食品的量与在第一获取时获取到的图像所示的饮食品的量相比是否减少了规定量。
判定部105在步骤s23中由判定部105判定出饮食品或餐具的图像存在了规定的变化时(步骤s23：是)，判定用餐是否结束(步骤s24)。具体来说，在由获取部103获取到的图像中，当载置有饮食品的餐具的图像不含有饮食品时，判定用餐已结束。在步骤s24中由判定部105判定出用餐已结束时(步骤s24：是)，图像处理部106对视频内容含有的规定图像附加第三变化(步骤s25)。具体来说，图像处理部106参考变化附加规则，生成与视频的变化id“b003”相对应的图5(d)的图像，并由显示控制部107将生成的图像显示到显示部140。另一方面，在步骤s23中由判定部105判定出饮食品或餐具的图像没有规定的变化时(步骤s23：否)以及在步骤s24中判定出用餐没有结束时(步骤s24：否)，返回到步骤s22继续进行处理。
以上例示了本实施方式，但作为其他的实施方式，当多名顾客就座于同一餐桌时，这些多名顾客各自的头戴式显示器100的显示部140所显示的视频也可设为相互连动的视频。在这种情况下，一个顾客的行为也可以反映到其他顾客的头戴式显示器100的显示部140中的显示中，也可通过多名顾客的特定的行动以展开特定的故事的方式来构成。并且，在多名顾客就座于同一餐桌时，也可利用由各自的拍摄装置130拍摄到的多个图像来提高判定部105的判定精度。
并且，作为其他的实施方式，也可采用这样的结构：由外部的服务器来执行本实施方式中的头戴式显示器100带有的功能的一部分。例如，头戴式显示器100通过拍摄装置130对图像进行拍摄，并将该图像转送到外部的服务器，由外部的服务器来判定饮食品的状态。然后，生成与外部的服务器判定的判定结果相应的图像，并将生成的图像转送到头戴式显示器100，由头戴式显示器100对此进行显示。
图10是表示能够实现本实施方式中的控制装置110的计算机20的一个例子的硬件结构图。如图10所示，计算机20包括：cpu(centralprocessingunit：中央处理器)21、ram(randomaccessmemory：随机存取存储器)22、rom(readonlymemory：只读存储器)23、hdd(harddiskdrive：硬盘驱动器)24、通信接口(i/f)25、输入输出接口(i/f)26以及媒体接口(i/f)27。
cpu21通过储存于rom23或hdd24的程序工作，并对各部分进行控制。rom23储存在计算机20启动时由cpu21执行的引导程序、依赖于计算机20的硬件的程序等。
hdd24储存由cpu21执行的程序以及被该程序使用的数据等。通信接口25将经由通信线路从外部设备接收到的数据发送到cpu21，并将由cpu21生成的数据经由通信线路发送到外部设备。
cpu21经由输入输出接口26来控制显示部140等的输出装置以及电源按钮(未图示)等的输入装置。cpu21经由输入输出接口26从输入装置获取数据。并且，cpu21将生成的数据经由输入输出接口26输出到输出装置。
媒体接口27读取储存于存储介质28的程序或数据，并经由ram22提供给cpu21。cpu21经由媒体接口27将该程序从存储介质28加载到ram22上，执行加载了的程序。存储介质28例如为dvd(digitalversatiledisc：数字通用光盘)等的光学存储介质、磁性存储介质或半导体存储器等。
在计算机20作为本实施方式中的控制装置110来发挥功能时，计算机20的cpu21通过执行加载于ram22上的程序，来实现操作接收部102、获取部103、检测部104、判定部105、图像处理部106、显示控制部107的各功能。并且，hdd24储存有变化附加规则等数据。
图像处理程序以可安装形式或可执行形式的文件存储在cd-rom、cd-r、存储卡、dvd(digitalversatiledisc：数字通用光盘)、软盘(fd)等的计算机可读的存储介质中而被提供。计算机20的cpu21经由媒体接口27从上述存储介质读取并执行这些程序，作为其他的例子，也可经由通信线路从外部装置来获取这些程序。
需要说明的是，交易管理程序例如是能够使用actionscript、javascript(注册商标)、python、ruby等的脚本语言、c语言、c++、c#、objective-c、swift、java(注册商标)等的编译型语言等进行装配。
这样，根据本实施方式中的头戴式显示器100，提供随着饮食而变化的附加性服务，因此顾客能够在饮食设施中更加享受饮食。