用于涂色游戏的增强现实服务方法和系统与流程

本发明涉及用于涂色游戏的增强现实服务方法和系统，更具体地，涉及不对印刷物进行涂色，而是在服务应用上对图像进行涂色之后识别印刷物的标记来实施与用户所涂色的图像对应的增强现实服务的用于涂色游戏的增强现实服务方法和系统。

背景技术：

近年来，随着在数年间智能电话的普及程度的急速增加以及智能电话的使用时间的大大增加，智能电话的应用(application，下文中称为“服务应用(app)”)不仅被多样化地开发到了其数量无法被列举的程度，而且也得到了演变，因此通过有益的想法对实际生活提供了诸多便利。

增强现实服务应用也为其中的一种。与增强现实相关的技术中的基于标记的增强现实为将特定物体增强在预设标记(特定图案、图像)上的方法。这种基于标记的方式因具有能够将特定物体准确地增强在指定场所上的优点，因此为经常使用的方法中的一种。上述基于标记的方式对于检测标记而言存在着在标记被遮挡或者摄像机快速移动的情况下会产生识别误差的缺点，但是为了弥补这种缺点，也正在研究着附加地使用移动设备中所提供的加速度传感器等的补正方法等。

颜色现实增强混合(colarmix)为当前由智能电话应用提供的基于标记的增强现实服务中的一种。颜色现实增强混合(colarmix)作为对涂色游戏提供的增强现实服务，其能够培养孩子们的创作能力。

要使用颜色现实增强混合(colarmix)的用户利用电脑(例如：pc)连接颜色现实增强混合(colarmix)服务器之后，下载图画之后，并通过打印机输出a4的纸质印刷物。

然而，在用期望的颜色对经输出的上述纸质印刷物(例如：机器人)涂色之后，当实施服务应用(例如：颜色现实增强混合(colarmix))并匹配到智能电话画面上时，用户能够观察到自己涂色的机器人呈现为3d形状并进行移动和动作的模样。

更具体地，服务器中存储有用于涂色游戏的各种图像和与该图像对应的增强现实内容。

当在用户终端中识别到特定标记时，与该图像对应的增强现实内容呈现为3d形状并进行移动和动作。

特别是，在用户以特定图案对印刷物涂色之后，当实施服务应用并对经涂色的图像的印刷物进行扫描时，提取根据图像的坐标的色彩信息。根据通过这种方式提取的色彩信息，将色彩组合到服务器中所提供的增强现实内容上从而生成经涂色的增强现实内容。

因此，用户能够通过用户终端的显示部观察到自己涂色的图像被呈现并进行移动和动作的模样。

以往，在为了如颜色现实增强混合(colarmix)的涂色游戏而提供的增强现实服务的情况下，用户事先通过自己的电脑(例如：pc)连接到服务器上以下载期望的图像，并且该下载的图像输出(打印)为纸质印刷物。然后，需要用各种书写工具对输出的纸质印刷物涂色的作业。

如上所述，虽然以往用于实施服务的步骤能够让孩子们对纸质印刷物的图画涂色，从而给孩子们带来创作能力和乐趣，但是对于用一个智能电话就想要解决所有事情的大人而言，这仅仅是让人感觉不方便、耗时且麻烦的作业。

此外，因为需要直接对输出物进行涂色，所以还存在着需要额外地具有各种颜色的彩笔、颜料、毛笔等的问题。

此外，因为通常需要将图像输出到a4用纸上并进行涂色，所以因用户终端所扫描的印刷物的面积大而导致不容易通过用户终端的画面来识别标记。

技术实现要素：

技术问题

本发明是为了解决上述问题而创出的，并且本发明的目的在于提供如下的用于涂色游戏的增强现实服务方法和系统，即，该用于涂色游戏的增强现实服务方法和系统不对印刷物进行涂色，而是在服务应用上对图像进行涂色之后识别印刷物的标记来实施与用户所涂色的图像对应的增强现实服务。

本发明的另一目的在于提供如下的用于涂色游戏的增强现实服务方法和系统，即，该用于涂色游戏的增强现实服务方法和系统在实施增强现实内容时也能够一同播放用户的语音文件。

解决技术问题的手段

为了解决上述技术问题，根据本发明的用于涂色游戏的增强现实服务方法包括：1)在用户终端上实施服务应用并从服务器选择并下载待涂色的图像；2)利用上述服务应用中所提供的工具以特定图案对已经下载的图像进行涂色；3)印刷经涂色的图像；4)实施上述服务应用并对经涂色的图像的印刷物进行扫描来识别标记，并提取根据上述图像的坐标的色彩信息；5)根据经提取的上述色彩信息对上述服务器中所提供的增强现实内容进行涂色以生成基于用户所涂色的图像的彩色增强现实内容；以及7)在上述用户终端的显示部上显示上述彩色增强现实内容。

此外，优选地还包括：将在上述步骤2)中涂色的图像存储在上述用户终端中。

此外，上述彩色增强现实内容优选地在上述服务器或上述用户终端中生成。

此外，上述步骤3)优选为：对上述用户所涂色的图像进行彩色印刷。

此外，上述步骤2)优选地包括：用户生成语音文件并将经生成的上述语音文件传输到上述服务器，以及上述步骤7)优选为：当在上述用户终端的显示部上显示上述彩色增强现实内容时播放上述语音文件。

根据本发明的用于涂色游戏的增强现实服务系统包括服务器、用户终端和印刷设备，其中，上述服务器提供用于涂色游戏的各种图像以及与上述图像对应的增强现实内容，上述用户终端包括服务应用，其中上述服务应用根据用户的选择下载上述图像并且提供用于供用户对上述图像进行涂色的工具，并且上述印刷设备印刷在上述服务应用中涂色的图像，其中，上述服务应用对经涂色的图像的印刷物进行扫描来识别标记并且提取根据图像的坐标的色彩信息，上述服务器或上述服务应用根据经提取的上述色彩信息对上述服务器中所提供的增强现实内容进行涂色以生成基于用户所涂色的图像的彩色增强现实内容，并且上述用户终端显示上述彩色增强现实内容。

此外，上述用户终端优选地存储用户在上述服务应用中所涂色的图像。

此外，上述印刷设备优选地设置有短距离无线通信装置以从上述用户终端接收经涂色的图像并对接收到的经涂色的上述图像进行彩色印刷。

发明效果

根据本发明，具有如下效果，即，并不在用于涂色游戏的增强现实服务中对印刷物进行涂色，而是能够在服务应用上在用户终端的画面上对图像进行涂色之后识别印刷物的标记，从而享受与用户所涂色的图像对应的增强现实服务。

因此，具有能够灵活地利用服务应用中所提供的数字化的各种编辑功能的优点。

此外，以小于a4的尺寸来输出印刷物，因此在实施增强现实内容时用户容易在转动印刷物的同时进行观察。

此外，还具有在实施增强现实内容时也能够一同播放用户的语音文件的效果。

附图说明

图1是根据本发明的增强现实服务系统的结构框图。

图2是根据本发明的印刷设备的立体图。

图3是示出根据本发明的增强现实服务方法的动作流程图。

图4是示出根据本发明对下载的图像进行涂色的步骤的示例图。

图5是示出根据本发明用印刷设备输出图像的步骤的示例图。

图6是示出根据本发明的增强现实服务的示例图。

实施发明的最佳形态

本发明是为了使涂色游戏变得更加有趣而提供增强现实服务，其着重点在于实现如下的方法和系统，即，该方法和系统在智能电话等的用户终端上实施服务应用来下载无色彩的图像并对无色彩的图像进行涂色之后，以彩色来输出该图像，并且以用户对图像所涂色的颜色相同的颜色对在服务器上所提供的无色彩的增强现实内容进行涂色，从而生成并实施彩色增强现实内容。

图1是根据本发明的增强现实服务系统的结构框图。

如图1中所示，根据本发明的增强现实服务系统配置成包括用户终端机100、印刷设备200和服务器300。

上述服务器300存储并管理用于涂色游戏的无色彩的图像以及与各个图像对应的用于增强现实服务(例如：颜色现实增强混合(colarmix)等)的各种增强现实内容，并且当用户终端机100上实施服务应用而连接到其上时，将所存储的上述图像提供到终端100侧。

上述用户终端机100在实施增强现实服务应用(app)时连接到上述服务器300上以下载用户所期望的无色彩的图像。然后，根据用户的输入对所下载的上述图像实施颜色、线或文本的添加或编辑。

此外，用户终端机100可从用户接收语音信号以与所下载的上述图像进行联动。当指定增强现实服务被实施时，上述图像和经联动的语音文件与增强现实服务被一同输出。因此，用户能够与涂色游戏一同对语音文件进行存储并保管，并且能够与输出有经涂色的图像的印刷物一同将语音文件提供并传达给第三者。因此，接收传达的第三者能够识别印刷物的标记来实施增强现实内容，并且与此同时能够听取用户的语音信息。

当通过上述印刷设备200输出上述图像的印刷物时，用户终端机100在对该印刷物进行扫描来识别标记和上述图像的各个部分的颜色之后，实施与上述图像对应的增强现实服务。当增强现实服务被实施时，终端100显示部上的上述图像上展开反映出上述颜色或线的编辑的3d形状的个体，并且用户能够在转动上述图像的印刷物的同时立体地观察展开在图像上的3d形状的个体。换言之，实施服务应用并对经涂色的图像的印刷物进行扫描来识别标记，并且在另一方面，提取根据经涂色的图像的坐标的色彩信息。根据通过这种方式提取的色彩信息，对在服务器上所提供的无色彩的增强现实内容进行涂色，以生成基于用户所涂色的图像的彩色增强现实内容。根据通过这种方式提取的色彩信息来生成彩色增强现实内容也能够在用户终端的服务应用上生成，但是向服务器传输色彩信息以在服务器上生成彩色增强现实内容也是可能的。

用户终端机100可为笔记本电脑(例如：平板pc)或移动通信终端机(例如，手机、pda或智能电话等)。用户终端机100可包括无线通信部、音频/视频(a/v，audio/video)输入部、用户输入部、传感部、输出部、存储器、接口部、摄像机模块、控制部和电源供给部等。上述构成元件并不都是必须的，并且可为具有比其更多的构成元件或更少的构成元件的便携式终端机。上述无线通信部包括诸如蓝牙(bluetooth)、射频识别(rfid，radiofrequencyidentification)、红外线通信(irda，infrareddataassociation)、超宽带(uwb，ultrawideband)、zigbee(ieee802.15.4)或wi-fi的短距离无线通信模块，并且通过短距离无线通信模块向上述印刷设备200传递图像数据并实施印刷物的输出。

用户终端机100可设置有执行根据本发明的增强现实服务的软件或应用(例如：增强现实服务应用(app))或者将其存储在存储器上。用户可从上述服务器300或应用程序商店(下文中称为“应用商店(appstore)”)下载增强现实服务应用(app)并设置在终端100上。

上述印刷设备200作为以小型化和便携式作为重点来设计的便携式印画或印刷设备，其通过短距离无线通信装置从上述用户终端100接收图像。然后，输出(印刷)接收到的图像的彩色印刷物。上述短距离无线通信装置作为用于与用户终端机100进行通信的部件，其可执行诸如蓝牙(bluetooth)、射频识别(rfid，radiofrequencyidentification)、红外线通信(irda，infrareddataassociation)、超宽带(uwb，ultrawideband)、zigbee(ieee802.15.4)或wi-fi的短距离无线通信协议中的任一种。

如图2中所示，上述印刷设备200配置成包括本体部220、印画纸供给部230、印画纸排出部240、电源部250和连接端口部260。

上述本体部220作为构成印刷设备200的本体的壳(case)，其提供能够供上述印画纸供给部230、印画纸排出部240、电源部250和连接端口部260安装(或形成)在其上的基础。

上述印画纸供给部230作为将印画所需的用纸供给印刷设备200的装置端，其配置成包括用纸确认窗232、盒(未示出)和插入口(未示出)。上述用纸确认窗232可设置在本体部220的一侧处，并且用户可通过用纸确认窗232确认上述盒托盘上所剩余的印画纸的剩余量。

上述印画纸排出部240作为将由印刷设备200印画的用纸排出的装置端，其配置成包括排出口、盖部和盖铰接件。

上述电源部250控制印刷设备200的导通(on)/关断(off)，并向构成印刷设备200的电气/电子器件供给电源，并且配置成包括电源按钮254和电池(未示出)。上述电源按钮254设置在本体部220的一侧处，并且根据用户按压(push)电源按钮254的操作，控制印刷设备200的导通(on)/关断(off)。

上述连接端口部260设置在上述本体部220的侧面(例如，左侧或右侧)一侧处，并且配置成包括usb连接端口(未示出)和充电器连接端口(未示出)。

根据本发明的印刷设备200不仅能够通过设置有连接端口部260而执行与上述用户终端100的无线连接(例如，短距离无线通信)，而且能够通过上述usb连接端口有线地执行印刷设备200与外部装置(例如：智能电话、平板pc等、笔记本电脑等)之间的有线数据传输。然后，通过上述充电器连接端口268接收电源并执行对于电池258的充电。

此外，根据本发明的印刷设备优选地使用零墨水方式，在零墨水方式中将涂料涂覆在印画纸上，并在印刷设备中在特定时间期间对印画纸施加特定温度的热量，从而实现全彩色。

此外，印画纸(印刷物)的尺寸优选为作为一般照片的尺寸的4英寸×6英寸。这是因为当增强现实内容被实施时，在移动印刷物的同时在各种角度上可以查看印刷物，但是a4尺寸对于印刷物的移动而言是过大的。此外，这是因为当印刷物的大小过大时，通过具有相对小的面积的显示部的智能电话等不易于识别标记。

图3是示出根据本发明的增强现实服务方法的动作流程图，其示出了用于提供增强现实服务的方法和步骤。

本发明在利用增强现实服务应用(下文中称为“服务应用(app)”)对图像进行彩色涂色并输出印刷物之后，对经输出的印刷物进行扫描来在终端100(例如：智能电话或平板pc等)上显示增强现实服务画面。

当用户实施存储在终端100中的服务应用时，根据应用的实施，如图4中所示，显示应用的主画面m110a。

当在终端100上显示主画面m110a时，用户首先选择(触摸)“内容下载”按钮来连接到服务器300上。然后，从所连接的服务器300下载用户所选择的图像(例如：动植物、动画角色、机器人等)(s10)。此时，上述图像作为用于实施增强现实服务的图像，其包括能够对图像上的特定个体进行增强的标记(特定图案或图像)。图4是示出根据本发明对下载的图像进行涂色的步骤的示例图。

随后，当完成所选择的上述图像的下载时，用户首先在应用的主画面m110a上选择(触摸)“编辑模式”按钮以对图像进行涂色或输入期望的文本(text)。此时，由诸如“输入颜色&线”、“输入文本”、“输入语音”的子项目构成的编辑模式的子菜单画面m120a被显示，并且用户可选择上述子菜单画面m120a的“输入颜色&线”项目来对图像进行涂色。

用户可通过如图4的画面m130a所示的编辑画面对已经下载的上述图像进行涂色或者输入线(或图形)。然后，当完成涂色(编辑)时，存储指定图像(s20)。特别是，根据本发明，并不是利用彩笔或颜料对印刷物进行涂色，而是能够利用在服务应用中所提供的工具来简单地进行涂色(编辑)。即，在服务应用中能够提供公知的图像编辑程序(例如，“photoshop”)中所使用的图像编辑工具。

根据情况，也可生成语音文件并将经生成的语音文件传输到服务器。

随后，用户在上述应用的主画面m110a中选择(触摸)“印刷模式”按钮，从而如图5中所示，能够通过与用户终端100无线连接的印刷设备200输出(印刷)经编辑的上述彩色图像(s30)。图5是示出根据本发明用印刷设备输出图像的步骤的示例图。

一旦彩色图像被输出到上述印刷设备200，则如图6中所示，用户在上述主画面m110a中选择(触摸)“增强现实服务模式”按钮来实施增强现实模式之后，将终端100的方向对准彩色图像侧匹配并维持与彩色图像的预定距离，以使得经输出的上述彩色图像整体进入到终端画面内。

当增强现实模式被实施时，终端100对摄像机模块进行驱动并对输出上述彩色图像的印刷物进行扫描，以使得彩色图像显示在终端画面上(s40)。在执行扫描期间，终端100识别标记和上述彩色图像的各个部分的颜色。即，提取根据图像的坐标的色彩信息(s50)。

然后，生成将经识别的该标记和图像的各个部分的颜色予以适用的增强现实内容(s60)。具体地，在服务器上所提供的无色彩的增强现实内容适用按照用户涂色的、根据坐标的色彩信息。通过这种方式，将在服务器上所提供的无色彩的增强现实内容再次生成为根据用户的涂色的彩色增强现实内容(s60)。

实施通过如上所述的方式生成的彩色增强现实内容并将该彩色增强现实内容显示在用户终端的显示部上(s70)。此时，如果用户使语音文件联动，则从服务器下载语音文件以使得语音文件与彩色增强现实内容一同被播放。上述语音文件也可为背景音乐或为了将与涂色游戏相关的内容保留为语音的语音文件，或者也可为传达给接收印刷物的第三者的语音信息。

实施发明的形态

当增强现实服务被实施时，如图6中所示，终端100将根据经识别的上述标记和图像的各个部分的颜色的3d形状的个体(例如：动植物、动画角色、机器人等)输出到终端画面上的彩色图像上。图6是示出根据本发明的增强现实服务的示例图。即，以与印刷物的颜色相同的颜色对3d形状的个体进行涂色，从而在经涂色的彩色印刷物上以增强现实来提供服务。

3d形状的个体可根据预设场景来执行各种行为和动作，并且用户可在转动彩色图像印刷物的同时立体地观察(例如：前、后、左、右、上、下)在上述彩色图像上展开的3d形状的个体。因为根据本发明的印刷设备以小于a4的尺寸来对印刷物进行印刷，因此容易将其放在手上并在转动其的同时进行观察。

通过如上所述的方式生成的彩色增强现实内容基本上由服务器提供，但是因为内容的3d形状个体上反映有用户通过涂色游戏予以涂色的颜色，所以能够通过赋予如同个体活着一样运动等的3d动画等的效果来提高创作能力和兴趣。

本文中所说明的本发明的动作可利用软件、硬件或它们的组合实现在计算机可读的记录介质内。

根据硬件性实现，本文中所说明的实施方式可利用专用集成电路(asic，applicationspecificintegratedcircuit)、数字信号处理器(dsp，digitalsignalprocessor)、数字信号处理装置(dspd，digitalsignalprocessingdevice)，可编程逻辑装置(pld，programmablelogicdevice)、现场可编程门阵列(fpga，fieldprogrammablegatearray)、处理器(processor)、控制器(controller)、微控制器(micro-controller)、微处理器(microprocessor)、用于执行功能的电子单元中的至少一种来实现。在部分情况下，在本说明书中说明的动作实例可由控制部(或服务应用(app))本身来实现。

根据软件性实现，本说明书中说明的如步骤和功能的实施方式可由独立的软件模块实现。上述软件模块中的每个可执行本说明书中说明的一个以上的功能和操作。软件代码可由用适当的软件语言编写的软件应用来实现。上述软件代码可存储在存储器(未示出)中，并且可由控制部(或服务应用(app))来实施。

虽然参照附图中所示的实施方式对本发明进行了说明，但是这仅为示例性的，并且应理解，本发明所属技术领域的普通技术人员能够由此进行各种变型，并且也可选择性地组合并实现上述实施方式的全部或部分。因此，本发明的真正的技术保护范围应由随附的权利要求书的技术思想来定义。

如上文所述，本发明采用用户终端机100的图像编辑功能(例如，涂色)和印刷设备200的印刷(印画)功能实现了涂色游戏增强现实服务系统。

本发明用一个智能电话简单地处理了大人们觉得不方便且麻烦的以往的增强现实服务，因此能够满足要求更简单且便利的智能电话用户的要求(need)。

特别是，如上所述，因为本发明通过与用户终端的无线通信接收数据，因此能够利用携带简单且不受场地限制的印刷设备，并且因为在智能电话等的服务应用上执行涂色等的编辑，而不是在印刷物上执行，因此能够在食堂里或者在利用公共交通的途中享受涂色游戏和增强现实服务。

产业可用性

根据本发明，使得现有的用于涂色游戏的增强现实服务能够在没有场地限制的情况下被使用，特别是，在服务应用中提供各种数字图像编辑工具，从而能够提供使用更加简便且有趣的服务。