专利名称：根据图示的实际物体的图像对电子显示设备中的图示定向的制作方法
技术领域：
本申请总地涉及根据作为图示对象的物体的实时图像对电子显示设备(比如，电子书)中的图示进行定向。
背景技术：
包括电子技术手册和电子地图的电子书有效地显示所存储的诸如将要处理的部件或者人们在察看实际部件或地标以获得信息时可以参考的地理地标之类的物体的照片。例如，电子书形式的汽车技术手册可以包含安装在发动机上的起动器的照片，因此技术人员在站在实际发动机前面时可以察看照片以便获得安装或拆卸起动器的指令。然而，如此处可理解的，因为电子书图像通常是从特定方位拍摄的，所以伴随的书面指令通常涉及在该特定方位显现的物体，而用户有时会从不同角度或方位察看实际物体。实际上，用户正在察看作为电子书图像的对象的实际物体并不是显而易见的。这样会导致难以理解用户正在观察的物体与用户从电子书中读取的内容之间的联系。
发明内容
因此,一种系统具有外壳、由外壳支撑的显不器、和由外壳支撑的照相机。处理器控制显示器并接收来自照相机的输入。计算机可读代码装置可由处理器存取，并存储有能够在处理器的控制下在显示器上呈现的物体的参考图像。照相机生成物体的物体图像，处理器存取物体图像并根据物体图像修改参考图像在显示器上的呈现。在一些实施方式中，处理器根据物体图像通过将物体图像与参考图像合并来修改参考图像在显示器上的呈现。在其它实施方式中或者另外地，处理器可以通过使用阿尔法混合使物体图像混合至参考图像中将物体图像与参考图像合并来修改参考图像在显示器上的呈现。更进一步地，在一些实施例中，处理器可以根据物体图像通过在显示器上呈现转动显示器的指令来修改参考图像在显示器上的呈现。再进一步地，处理器可以根据物体图像通过在显示器上呈现指示转动显示器的方向的箭头来修改参考图像在显示器上的呈现。如果需要，处理器可以利用图像辨认将物体图像与参考图像库进行比较，以确定如何根据物体图像来修改参考图像在显示器上的呈现。处理器还可以或可替代地根据物体图像通过将显示器上的参考图像重定向为与物体图像中指示的方向匹配来修改参考图像在显示器上的呈现。在示例性实施例中，光发射器(比如，激光源)处于外壳上。处理器使光发射器照亮物体的一部分。该物体可以是系统用户将要处理的部件、地理地标、或参考图像描绘的其它物体。另一方面，一种方法包括:接收物体的物体图像并将该物体图像与物体的参考图像进行比较。该方法还包括:响应于将物体图像与参考图像进行比较，改变参考图像在显示器上的视觉呈现。另一方面，一种电子书具有显示器和控制显示器以在显示器上呈现包括物体的参考图像的呈现内容的处理器。照相机将物体的基本实时的图像传递至处理器，以使处理器根据照相机拍摄的物体的基本实时的图像来改变显示器上的呈现内容(包括物体的参考图像)的视觉外观。
有关本发明的结构与操作的细节可参考附图得到最佳理解，其中，相同的参考标号表不相同的部件，并且其中:图1是根据本原理的非限制性的示例系统的框图；图2是示例性逻辑的流程图；图3是电子书和被成像物体的示意图；以及图4-6是图示出定向原理的协调的电子书的示例屏幕截图。
具体实施例方式首先参考图1中所示的非限制性的示例实施例，系统10包括电子书(e-book) 12，电子书12通常(尽管未必)具有便携式的轻便外壳14。处理器16位于外壳14的内部，并且处理器16存取一个或多个有形的计算机可读存储介质18 (比如，基于磁盘的或固态的存储装置)。电子书12可使用与处理器16通信的有线或无线网络接口 20(比如，调制解调器或路由器)通过互联网接收流视频、固件更新、文本文件等。文本和期望的视频可以在处理器16的控制下在显示器22上呈现出来，其中显示器22可以是触摸屏显示器。在处理器16的控制下，音频可以在一个或多个扬声器24上播放。另外,对于处理器16的用户命令可从输入设备26(比如，鼠标、小键盘、键盘、触摸屏、将信号输入到语音辨认模块的麦克风等)接收。成像设备28(比如，基于CCD(电荷耦合器件)的照相机或其它照相机)可以将物体30的图像输入至处理器16，并且在示例性实施例中，根据下文中的描述，处理器16可以控制可见光发射器32 (比如,激光器)。发射器32可拆卸地安装在外壳14上。根据下文公开的原理，图像辨认和定向被结合至电子书12中，以使电子书参考图像自动地与实际捕捉的图像相关联。简言之，电子书12从照相机28接收反馈，以使电子书能够指示用户将电子书12定向在以下方向中，其中该方向可使通过电子书呈现的物体的参考图像与用户面前的实际物体更容易地实现视觉关联。电子书还能在电子图像上突出显示在手册的该部分中要详细观察的组件。图2图示出了根据本原理的示例性逻辑。块34表示物体30的实际图像被照相机28捕获并被发送至处理器16。实际图像是电子书的用户在视觉地看到物体30时使照相机对该物体照相而捕获的基本实时的图像，所以物体的相片是实时图像或基本实时的图像(也许是在经历下面描述的处理前几秒钟的图像)。例如，照相机可以产生几乎是以实时方式更新的静止图像(例如，更新速率大约是15帧/秒或更快)，或照相机可以是具有固定但是短(小于一秒)延迟的摄像机。转移至块36，处理器16可以对来自照相机的图像执行图像辨认，以在块38处识别物体，该物体可以是(但不限于)将要被处理的机器部件、地标等。处理器通过存取包含在计算机可读介质18上的或包含在互联网服务器内且可利用网络接口 20存取的图像数据库来执行图像辨认。替代地，图像可以从电子书上传至互联网服务器，并且该服务器能够对该图像执行图像辨认并且通过网络接口 20将物体的身份(identification)返回至电子书。在任何情况下，利用其基本实时的图像的物体30被与通常包含在计算机可读存储介质18上的相同物体的参考图像关联。进行至块40，在一个示例性实施例中，储存在计算机可读存储介质18上的物体的参考图像可以在显示器22上呈现出来并且在显示器22上被重定向(旋转)为与从照相机28接收的基本实时的图像中的物体的方向匹配。替代地，可以通过以下操作来修改参考图像的呈现:例如，在显示器22上呈现可视指示(比如，箭头或文本指令)(块42)，以使用户手动地移动物体30或者(更可能是)移动电子书(例如将电子书转动至以下方向:其中所描绘的物体的参考图像看上去像在块34捕获的物体的基本实时的图像所指示的实际物体30—样被定向)。应注意，后一种方法允许参考图像连同任何通常与参考图像的特定方向有关的预存指令在显示器22上保持不变，除了在图像上增加上述文本或图像重叠以指导用户如何旋转或重定向电子书以使参考图像方向与在块34捕获的实际图像的方向相匹配之外。块44表示如果需要，响应于在块34捕获的物体图像，处理器可以控制来自发射器32的激光在物体30上的照射和方向，以向察看物体30上的感兴趣的特定部分的用户提供可视指示，如在下文中进一步讨论的那样。另外，在块46，通过将图像例如阿尔法混合(alpha blending)在一起，可将在块34捕获的物体图像与储存在计算机可读存储介质18上的相同物体的参考图像合并，以在显示器22上渲染(render)合成图像。合成图像的构成部分可以被适当地重新调整大小和/或重新定向，以便彼此匹配。以这种方式，在渲染与在块34捕获的物体图像更加相似的图像时，显示器22上的合成图像可保持参考图像的两个信息方位。块46的隐含意思是，有时参考图像可能是在与用户当前察看物体的条件不同的照明条件下拍摄的，或是使用与当前察看的物体30不同的颜色的物体拍摄的，或是不如合成图像与实际物体相似。图3描绘的示例性物体是安装有起动器50的车辆发动机48。在这种情况下，电子书12包含用于起动器的电子修理手册。如所示出的，用户已经在显示器22上调出呈现具有起动器的发动机的参考图像52的页面。基于照相机28所拍摄的发动机48的实际图像并使用上述逻辑，电子书已辨认出起动器50，并且响应于此已经突出显示(如用引号(penumbra) 54显示)参考图像的作为起动器的部分56。另外，如图3所示，电子书已经呈现出声明参考图像的突出显示部分是起动器的文本消息。存在两种如何根据照相机拍摄的物体的实际图像来修改参考图像52的呈现的示例。图4-6图示出了如何根据照相机拍摄的物体的实际图像来修改参考图像52的呈现的进一步的原理。假定图4图示出了在利用照相机28对发动机48进行成像之前，用户察看实际发动机48时参考图像52的初始方向。如所示出的，参考图像52相对于显示器22的方向与用户观察到的发动机48的实际方向垂直，即，用户以发动机48的水平长尺寸(longdimension horizontal)察看发动机48,但是图4中的参考图像52示出了被以其相对于显示器22的垂直长尺寸定向的发动机。成像后，图5和6图示出了改变参考图像52的呈现的不同实施例。在图5中，成像后参考图像52的方向相对于图4保持不变，这具有不需要重新配置显示器22上呈现的整个页面(包括文本)的优点。然而，如另外示出的那样，弯曲箭头58形式的图形指示和文本指令60形式的文本指示被提供给用户，以使用户手动地将电子书12旋转或转动九十度从而使得参考图像52相对于显示器22的方向与发动机48相对于地面的方向匹配，其中显示器22的最接近用户的边缘通常被用户理解为代表发动机48下方的地面。与此相反，图6示出了响应于来自照相机28的发动机48的图像，可适当地将参考图像52相对于显示器22的方向旋转九十度(在本示例中)以与发动机48的方向匹配。因此，用户不需要转动或旋转电子书以重定向参考图像；处理器16简单地将显示器上的参考图像重定向为与由照相机成像的发动机的方向匹配。注意，例如，当用户对物体进行修理时,照相机28可拍摄物体30的一连串图像，且这些一连串的图像可以被记录在存储装置中用于质量保证检查。而且，在与参考图像比较时来自照相机的图像指示有导常的情况下，可在电子书12上能够呈现出警告。例如，假设执行图像辨认的处理器16辨认出来自照相机的图像是参考图像的部件，例外的是来自照相机的图像中缺少两个紧固件。响应于该判定，可在显示器22上呈现比如“两个螺丝钉丢失”的文本警告。指导用户将电子书转向特定方向的替代选择可以是指导用户对由照相机成像的物体上的特定物件进行查看和成像的消息。例如，可以生成"查看滤油器盖子"的消息以使用户对发动机的该消息中指定的特定部分进行查看和成像，从而将用户定向到相对于正在察看的物体的与拍摄参考图像的方位更加匹配的方位和角度。再有，可不对来自照相机的图像执行图像辨认。反之，可以指示用户按照显示器上的红点(从来自照相机28的图像中产生)的指示来定向电子书，或者响应于从照相机28的图像察觉到的物体的方向将自己定向在物体30上的红点(来自指向物体30的发射器32)前。尽管此处示出并详细描述了“根据图示的实际物体的图像对电子显示设备中的图示定向”，但是应该理解本发明包含的主题仅受权利要求书限制。
权利要求
1.一种显不系统，包括: 夕卜壳; 由所述外壳支撑的显示器； 由所述外壳支撑的照相机； 控制所述显示器并接收来自所述照相机的输入的处理器；以及 所述处理器能够存取的计算机可读存储介质，该计算机可读存储介质存储在所述处理器的控制下能够在所述显示器上呈现的物体的至少一个参考图像，所述照相机生成所述物体的物体图像，所述处理器存取所述物体图像并根据所述物体图像来修改所述参考图像在所述显示器上的呈现。
2.根据权利要求1所述的显示系统，其中，所述处理器根据所述物体图像通过将所述物体图像与所述参考图像合并来修改所述参考图像在所述显示器上的呈现。
3.根据权利要求1所述的显示系统，其中，所述处理器根据所述物体图像通过使用阿尔法混合使所述物体图像混合到所述参考图像中面将所述物体图像与所述参考图像合并来修改所述参考图像在所述显示器上的呈现。
4.根据权利要求1所述的显示系统，其中，所述处理器根据所述物体图像通过在所述显示器上呈现转动所述显示器的指令来修改所述参考图像在所述显示器上的呈现。
5.根据权利要求1所述的显示系统，其中，所述处理器根据所述物体图像通过在所述显示器上呈现指示转动所述显示器的方向的箭头来修改所述参考图像在所述显示器上的呈现。
6.根据权利要求1所述 的显示系统，其中，所述处理器利用图像辨认将所述物体图像与参考图像库进行比较，以确定如何根据所述物体图像修改所述参考图像在所述显示器上的呈现。
7.根据权利要求1所述的显示系统，其中，所述处理器根据所述物体图像通过将所述显示器上的所述参考图像重定向为与所述物体图像指示的方向匹配来修改所述参考图像在所述显示器上的呈现。
8.根据权利要求1所述的显示系统，包括所述外壳上的光发射器，所述处理器使所述光发射器照亮所述物体的一部分。
9.据权利要求1所述的显示系统，其中，所述物体是所述系统的用户将要处理的部件。
10.根据权利要求1所述的显示系统，其中，所述物体是地理地标。
11.一种显不方法，包括: 接收物体的物体图像； 将所述物体图像与所述物体的参考图像进行比较； 响应于将所述物体图像与所述参考图像进行比较，改变所述参考图像在所述显示器上的视觉呈现。
12.根据权利要求11所述的显示方法，包括通过将所述物体图像与所述参考图像合并来至少部分地改变所述参考图像在所述显示器上的视觉呈现。
13.根据权利要求11所述的显示方法，包括通过使用阿尔法混合使所述物体图像混合至所述参考图像中而将所述物体图像与所述参考图像合并来至少部分地改变所述参考图像在所述显示器上的视觉呈现。
14.根据权利要求11所述的显示方法，包括通过在所述显示器上呈现转动所述显示器的指令来至少部分地改变所述参考图像在所述显示器上的视觉呈现。
15.根据权利要求11所述的显示方法，包括通过在所述显示器上呈现指示转动所述显示器的方向的箭头来至少部分地改变所述参考图像在所述显示器上的视觉呈现。
16.根据权利要求11所述的显示方法，包括使用图像辨认来比较所述物体图像与参考图像库，以确定如何改变所述参考图像在所述显示器上的视觉呈现。
17.根据权利要求11所述的显示方法，包括通过将所述显示器上的所述参考图像重定向为与所述物体图像指示的方向匹配来至少部分地改变所述参考图像在所述显示器上的视觉呈现。
18.根据权利要求11所述的显示方法，包括根据所述物体图像与所述参考图像的比较，使光发射器 照亮所述物体的一部分。
全文摘要
公开了根据图示的实际物体的图像对电子显示设备中的图示定向。根据照相机拍摄的物体的基本实时的图像，为电子书的用户呈现包括物体的参考图像的显示器上的呈现内容的改变后的视觉外观。
文档编号H04N5/232GK103165106SQ20121053235
公开日2013年6月19日 申请日期2012年12月11日 优先权日2011年12月19日
发明者彼得·施恩塔尼 申请人:索尼公司