用于使用设备来处理画面的方法和装置的制造方法
【专利说明】用于使用设备来处理画面的方法和装置
[0001]对相关申请的交叉引用
[0002]本申请要求于2014年10月15日向韩国知识产权局提交的被分配序列号10-2014-0139071的韩国专利申请的优先权，其全部公开通过引用合并于此。
技术领域
[0003]本公开涉及用于处理联接在设备之间的画面的方法和装置。
【背景技术】
[0004]通常，移动设备是尺寸足够小到适合在口袋中并包括具有触摸输入功能的显示屏幕或小尺寸键盘的计算设备。然而，这样的移动设备的屏幕通常小于向其提供的内容的尺寸，因此应附加显示窗口或应执行屏幕滚动。头戴式显示(HMD)设备应被理解为被设计用于用户在将HMD设备像眼镜那样佩戴在其头部上时观看虚拟图像的各种图像显示设备。HMD设备不仅能够向用户提供简单的显示功能，而且能够向用户提供具有作为显示功能与增强现实技术、N画面技术等的组合的各种便利功能。然而，HMD设备的用户可能间接地尝试控制在HMD设备的眼镜上显示的虚拟图像，例如通过朝向虚拟图像做手势、做出语音输入、或触摸眼镜的臂，而不物理地触摸虚拟图像。因此，难以准确地控制虚拟图像。
[0005]将上述信息仅呈现为背景信息，以帮助理解本公开。尚未确定并且尚未断定是否可以将上述内容应用为关于本公开的现有技术。
【发明内容】
[0006]本公开的方面用于解决至少上述问题和/或确定以及提供至少下述优点。因此，本公开的一个方面是提供一种用于通过使用设备来处理联接到实际画面的附加画面的方法和装置。
[0007]依据本公开的一个方面，提供了一种由第二设备执行的处理第一设备上的画面的方法。该方法包括:根据关于第一设备的画面显示请求在第二设备处获得在第一设备上显示的显示画面和与显示画面相关的信息；在第二设备处基于第一设备上的显示画面和与显示画面相关的信息来确定附加画面；以及在所述第一设备上的显示画面附近显示附加画面。
[0008]与显示画面相关的信息可以包括以下中的至少一个:第一设备的形状信息、要在第一设备上的显示画面附近显示的附加画面的位置、附加画面的大小、与附加画面相关的内容信息和使用相机捕捉的第一设备的状态信息。
[0009]第一设备的状态信息可以包括第一设备的画面的位置和角度。
[0010]第一设备的状态信息可以使用相机来定期更新。
[0011]显示附加画面可以包括:捕捉第一设备的图像；基于所捕捉的第一设备的图像来确定第一设备的画面的位置和方向；以及基于第一设备的画面的位置和方向在第一设备的画面的预定位置显示附加画面。
[0012]确定第一设备的画面的位置和方向可以包括:从第一设备接收第一设备的形状信息；从第一设备的形状信息中提取特征点；以及将第一设备的图像的特征点与第一设备的形状信息的特征点进行比较，以确定第一设备的画面的位置和方向。
[0013]该方法可以进一步包括:根据在第一和第二设备上执行的用户输入来控制第一设备上的显示画面和附加画面被相互联接。
[0014]控制第一设备上的显示画面和附加画面被相互联接可以包括:根据在相应第一和第二设备上执行的用户输入来控制第一设备上的显示画面和第二设备上的附加画面被相互联接。
[0015]控制第一设备上的显示画面和附加画面被相互联接可以包括:根据从第一设备接收的用户输入来识别用于结束附加画面的命令；以及通过将用于结束附加画面的命令传送到第二设备来结束附加画面。
[0016]控制第一设备上的显示画面和附加画面被相互联接可以包括:通过使用相机来识别在第二设备上的附加画面上的用户输入；以及当识别出用户输入时，结束附加画面并且将指示附加画面的结束的信息传送到第一设备。
[0017]依据本公开的另一方面，提供了一种由第二设备执行的通过使用包括对象的第一设备来处理画面的方法。该方法包括:在第二设备处通过从第一设备接收与对象相关的信息来识别对象，并将指示识别对象的结果的信息传送到第一设备；在第二设备处根据关于第一设备的附加画面显示请求来获得关于与所识别的对象相关的显示画面的信息；在第二设备处基于关于与对象相关的显示画面的信息来确定要在对象上的预定位置显示的附加画面；以及在对象上的预定位置上显示附加画面。
[0018]该方法可以进一步包括:从第一设备获得关于在对象的预定位置上设置的显示区域的信息。
[0019]关于与对象相关的显示画面的信息可以包括:对象的形状信息、要在对象上显示的附加画面的位置和方向、附加画面的大小、与附加画面相关的内容信息以及使用相机捕捉的对象的状态信息。
[0020]对象的状态信息可以包括对象的位置和角度。
[0021 ] 对象的状态信息可以使用相机来定期更新。
[0022]显示附加画面可以包括:提供使用相机来捕捉对象的图像；从所捕捉的对象的图像来提取对象的位置和角度；以及基于对象的位置和角度来确定要显示附加画面的位置和方向。
[0023]提取关于对象的位置和角度可以包括:从第一设备接收对象的形状信息；从对象的形状信息提取特征点；以及将对象的形状信息的特征点与所捕捉的对象的图像的特征点进行比较，以提取关于对象的位置和角度的信息。
[0024]根据本公开的又一方面，提供了一种由第二设备执行的通过使用第一设备来处理附加画面的方法。该方法包括:在第二设备处根据关于第一设备的画面显示请求来获得关于附加画面的信息和第一设备的状态信息；在第二设备处基于关于附加画面的信息和第一设备的状态信息来确定要显示附加画面的位置；在所确定的位置显示附加画面；以及根据与附加画面相关的用户输入来控制第一和第二设备被相互联接。
[0025]根据本公开的又一方面，提供了一种由第一设备执行的处理第二设备上的画面的方法。该方法包括:在第一设备处根据画面显示请求来将显示画面和与显示画面相关的信息传送到第二设备；在第一设备处从第二设备接收关于在第二设备上显示的附加信息的控制信息；以及在第一设备处根据控制信息来更新与显示画面相关的信息。
[0026]与显示画面相关的信息可以包括要在设备的显示画面附近显示的附加画面的位置、附加画面的大小和与附加画面相关的内容信息。
[0027]依据本公开的又一方面，提供了一种用于通过使用设备来处理画面的装置。该装置包括:显示单元，被配置为显示图像；通信单元，被配置为根据关于设备的画面显示请求来接收设备上的显示画面和与显示画面相关的信息；以及控制单元，被配置为基于与由通信单元获得的显示画面相关的信息来获得附加画面，在显示单元上显示附加画面，使得在设备的显示画面附近显示附加画面，并且根据用户输入来控制设备的显示画面和附加画面被相互联接。
[0028]控制单元可以通过使用相机来对设备的形状进行拍照，基于设备的形状来从状态信息中提取设备的画面的位置和角度，以及基于设备的画面的位置和角度来确定要显示附加画面的区域。
[0029]控制单元可以根据在设备上执行的用户输入和与附加画面相关的用户输入来控制设备上的显示画面和附加画面被相互联接。
[0030]控制单元可以通过相机来识别附加画面上的用户输入，在用户输入指令结束附加画面时结束附加画面，以及将通知附加画面的结束的信息传送给设备。
[0031]依据本公开的又一方面，提供了一种非瞬时计算机可读记录介质。该记录介质上记录有包括用于执行由第二设备执行的处理第一设备上的画面的方法的指令的至少一个程序。该方法包括:根据关于第一设备的画面显示请求在第二设备处获得在第一设备上显示的显示画面和与显示画面相关的信息；在第二设备处基于与显示画面相关的信息来确定附加画面；以及在所述第一设备上的显示画面附近显示附加画面。
[0032]从以下结合附图的公开本公开的各个实施例的详细描述，本公开的其他方面、优点和突出特征对于本领域技术人员将变得显而易见。
【附图说明】
[0033]从下面结合附图进行的详细描述，本公开的某些实施例的上述和其他方面、特征和优点将变得更明显，其中:
[0034]图1是根据本公开的实施例的被配置为在第一设备和第二设备之间处理画面的系统的框图；
[0035]图2是根据本公开的实施例的被配置为在第一设备和第二设备之间处理画面的系统的框图；
[0036]图3是根据本公开的实施例的被配置为在第一设备和第二设备之间处理画面的系统的框图；
[0037]图4是根据本公开的实施例的被配置为在第一设备和第二设备之间处理画面的系统的框图；
[0038]图5是图示根据本公开的实施例的其中第二设备处理要联接到第一设备的画面的附加画面的情况的图；
[0039]图6是图示根据本公开的实施例的其中第二设备在对象周围显示虚拟图像类型的附加画面的情况的图；
[0040]图7是图示根据本公开的实施例的其中第二设备显示要联接到对象的附加画面的情况的图；
[0041]图8是根据本公开的实施例的由第二设备执行的处理联接到在第一设备上显示的画面的画面的方法的流程图；
[0042]图9是根据本公开的实施例的由第二设备执行的处理联接到在第一设备上显示的画面的画面的方法的流程图；
[0043]图10是根据本公开的实施例的由第一设备执行的处理在第二设备上显示的画面的方法的流程图；
[0044]图11是根据本公开的实施例的由第二设备执行的通过使用在其上没有显示画面的第一设备来处理画面的方法的流程图；
[0045]图12是根据本公开的实施例的由第二设备执行的通过使用附加地包括对象的第一设备来处理画面的方法的流程图；
[0046]图13是根据本公开的实施例的由第二设备执行的显示要联接到在第一设备上显示的画面的附加画面的方法的流程图；
[0047]图14是根据本公开的实施例的由第二设备执行的显示要联接到在包括对象的第一设备上显示的画面的画面的方法的流程图；
[0048]图15是根据本公开的实施例的由第二设备执行的控制附加画面的方法的流程图；
[0049]图16是根据本公开的实施例的由第一设备执行的控制结束附加画面的方法的流程图；
[0050]图17是根据本公开的实施例的由第二设备执行的控制要在第一设备上显示的附加画面的方法的流程图；
[0051]图18A和图18B是图示根据本公开的实施例的由第二设备执行的在第一设备上的显示画面附近显示虚拟图像类型的附加画面以及控制附加画面的方法的图；
[0052]图19A和图19B是图示根据本公开的实施例的由第二设备执行的在第一设备上的显示画面附近显示虚拟图像类型的附加画面以及控制附加画面的方法的图；
[0053]图20是图示根据本公开的实施例的由第二设备执行的在第一设备上的显示画面周围显示三维(3D)图像类型的附加画面以及控制附加画面的方法的图；
[0054]图21是根据本公开的实施例的第一设备的框图；
[0055]图22是根据本公开的实施例的第二设备的外部；以及
[0056]图23和图24是根据本公开的各种实施例的第二设备的框图。
[0057]在整个附图中，相同的参考数字将被理解为指代相同的部分、组件和结构。
【具体实施方式】
[0058]提供下面参考附图的描述，以帮助完全理解由权利要求及其等同物限定的本公开的各个实施例。其包括各种特定细节，以帮助理解，但这些应被认为仅是示范性的。因此，本领域技术人员将认识到在不背离本公开的范围和精神的情况下可以对在此描述的各个实施例进行变化和修改。此外，为了清楚和简洁，可能省略已知功能和结构的描述。
[0059]下面的描述和权利要求中使用的词语和词不限于书面含义，而是仅由发明人用来使得能够清楚并一致地理解本公开。因此，对于本领域技术人员显而易见的是，提供本公开的各个实施例的下面描述仅用于说明的目的，并且不用于限制由所附的权利要求及其结构等同物限定的本公开的目的。
[0060]应理解，单数形式“一”、“一个”和“该”包括单数指代，除非上下文明确另外指示并非如此。因此，例如，对“一个组件表面”的指代包括对这样的表面中的一个或多个的指代。
[0061]应理解，尽管在此可能使用术语“第一”、“第二”、“第三”等来描述各种元件、组件、区域、层和/或部分，但是这些元件、组件、区域、层和/或部分不应被这些术语限制。这些术语仅用于将一个元件、组件、区域、层或部分与另一个区域、层或部分进行区分。
[0062]在本公开中使用的特定术语不旨在限制本公开的范围，并且仅用于更好地理解(便于理解)本公开的各个实施例。在本公开中，如果可能