包于胶囊内的相机及其外部环境之间的数据通信的制作方法

专利名称：包于胶囊内的相机及其外部环境之间的数据通信的制作方法
技术领域：
本发明涉及一种用于成像胃肠(GI)道的可吞咽胶囊相机(swallow-ablecapsule camera)。具体地，本发明涉及通过所述胶囊相机与其环境的通信，而不需要传统的射频无 线设备(例如，发送机、接收机或天线)。
背景技术：
用于成像体腔或在活的有机体内(in vivo)的通道的装置已众所周知，且包括内 窥镜(endoscope)和自主包于胶囊内的(autonomous encapsulated)相机。内窥镜是通过 通孔(orifice)或外科手术开口穿过身体(典型地经由口腔穿过食道或者经由直肠穿过结 肠)的柔性或刚性管。使用透镜在内窥镜的远端处拍摄图像，并且或者通过镜头-中继系 统或者通过相干纤维光学束将该图像传送到身体外的近端。概念上类似的工具可以例如使 用CCD阵列或CMOS阵列电子地记录该远端处的图像，并且通过线缆将图像数据作为电信号 传送到近端。内窥镜允许内科医生在视场外进行控制，它是一种广为认可的诊断工具。然 而，内窥镜有许多限制，对患者存有风险，并且具有侵入性且使患者不舒服。这些过程的代 价限制它们作为常规健康筛查工具进行应用。由于难以穿越盘旋通道，内窥镜不能到达大部分小肠，因此需要特殊技术和预防 措施(从而会增加成本)来到达结肠整体。内窥镜风险包括被穿越的身体器官的可能穿孔 和麻醉引起的并发症。而且，必须在所述过程期间遭受的病痛和健康风险和与麻醉相关联 的手术后停歇时间(post-trocedural downtime)之间进行折衷。内窥镜是住院病人必需 的服务，这包括临床医生的大量时间，因此价格较贵。解决许多这些问题的在活的有机体内的可替换图像传感器是胶囊内窥镜。在胶囊 内窥镜中，将数码相机连同用于将数据(主要由数码相机记录的图像组成)发送到基站接 收机或身体外部的收发机和数据记录器的无线电发送机一起封装在可吞咽胶囊中。胶囊也 可以包括用于从基站发送机接收指令或其它数据的无线电接收机。取代射频传输，可以使 用低频电磁信号。电源可以从外部感应器感应地提供到胶囊内的内部感应器或者从胶囊内 的电池提供。可吞咽胶囊中的相机的早期示例描述于美国专利序列号5，604，531 (授权给以 色列政府国防部发布)中。转让给Given Imaging公司的大量专利描述了这种系统的更 多细节，使用发送机将相机图像发送到外部接收机。示例是美国专利序列号6，709，387和 6，428，469。也存在大量描述类似技术的对奥林巴斯公司的专利。例如，美国专利4，278，077 示出了具有用于胃的相机的胶囊，包括相机中的胶片。美国专利6，800，060示出了在原子分辨率存储器(atomicresolution storage，ARS)装置中存储图像数据的胶囊。具有内部电池的自主封装的相机的优点是可以对医院外不必卧床的患者进行测 量，而仅具有适度的活动限制的患者进行测量。基站包括围绕身体感兴趣区域的天线阵列， 并且该阵列可被临时地附着到皮肤或并入到可穿戴的衣物。数据记录器被附着到一条带子 并且包括电池电源和数据存储介质，用于保存已记录图像和其它数据用以随后上传到诊断 计算机系统。典型的过程包括住院病人上午看病，在上午期间医生将基站装置附着到病人并且该病人吞咽胶囊。系统在吞咽之前刚开始记录图像并且记录GI道的图像直到它的电池完 全放电为止。蠕动推动该胶囊通过GI道。通道中的速度取决于运动力的程度。通常，在4 到8小时内穿过小肠。在指定周期之后，病人将数据记录器返回到医生，该医生随后将数据 上传到计算机用以随后的查看和分析。该胶囊及时穿过直肠并且不必取回。胶囊相机允许GI道从食道往下直到小肠末端以便整体地成像，尽管它未被优化 来检测胃的异常。捕获彩色摄影图像，从而异常仅需具有细微视觉可识别特性即可，而不是 待被检测的局部解剖。所述过程是无痛的并且不需要麻醉。胶囊穿过身体相关的风险是最 小的一当然，穿孔的风险相对于传统的内窥镜减少许多。由于临床医生时间和临床设施的 需求减少，因此该过程的成本比传统内窥镜的成本要少，并且不需要麻醉。随着胶囊相机变成用于检查胃肠道的可行技术，已经出现了各种用于存储图像数 据的方法。例如，美国专利4，278，077公开了一种在化学胶片中存储图像数据的胶囊相机。 美国专利5，604，531公开了一种通过无线将图像数据传送到附着到身体或者在病人穿着 的衣物内部提供的天线阵列的胶囊相机。美国专利6，800, 060公开了一种将图像数据存储 在昂贵的原子分辨率存储(ARS)装置中的胶囊相机。所存储的图像数据随后可被下载到工 作站，该工作站通常是用以分析和处理的个人计算机。随后内科医生利用易使用的用户接 口来查看所述结果。然而，这些方法在数据传输处理期间都需要物理媒体转换。例如，化学 胶片上的图像数据必须被转换为可由个人计算机读取的物理数字介质。通过电磁信号的无 线传输需要通过天线和射频电子电路的大量处理，以便生成可被存储在计算机上的图像。 而且，ARS装置中的读和写操作依赖于充电粒子束流。使用半导体存储装置(不管是易失性还是非易失性)的胶囊相机具有以下优点 能够与CMOS或CCD图像传感器(其中捕获图像)和个人计算机(其中可以分析该图像)两 者直接接口连接。近年来实现的高密度和低制造成本使得半导体存储器对于胶囊相机中的 图像存储成为最具前途的技术。根据摩尔定律(仍旧认为有效)，集成电路的密度每24个 月就翻倍。同时，CMOS或CCD传感器分辨率持续增加，每几年就加倍。电子工业的最近发 展也促进了胶囊相机技术的发展。例如，(a)发光二极管(LED)的尺寸和功率减小促进了 LED用作胶囊相机的光源；(b)新型CMOS图像传感器也降低了功率和组件数；(c)集成电路 的持续小型化允许在单个硅衬底上集成许多功能(即，板上系统或“S0C”)，导致尺寸和功 率降低。胶囊相机制造中要克服的一个障碍是在胶囊相机被装配并封装在胶囊外壳中之 后要进行全面测试。不仅在制造工艺期间装配并包装胶囊相机之后需要测试，而且在运货 之后或者在胶囊相机已被储藏一段时间之后也需要测试。对于使用板上存储器存储的胶囊 相机，通常无法通过无线与外部世界通信。无线通信允许测试命令在测试条件下被发送和施加，或者将测试数据从胶囊相机内部提供到外部用以分析。对于具有无线性能的胶囊相机，通常仅提供发送机，而不提供接收机，或者仅提供其相应的协议电路或软件。在胶囊相 机中包括接收机将使胶囊相机设计复杂，增加其尺寸和成本。除了后封装测试需求，向胶囊相机提供接收来自外部的命令、信息和数据的能力 会使能双向通信和相互作用。该附加性能由于会增加胶囊相机的功能、应用和灵活性而是 令人期待的。例如，使用这种附加性能，可以更新一些参数，可以校正错误，并且可以提高性 能。作为另一个示例，这种性能允许卫生保健从业者将胶囊相机编程来检查特定区域(例 如，食道、小肠、大肠或者许多区域的任意组合)并且定制其操作。例如，可以将用于成像食 道的帧速率编程为与用于大肠的帧速率不同的值。

发明内容
根据本发明的一个实施例，具有图像传感器和发光系统(例如CMOS图像传感器和 LED发光系统)的胶囊相机使用其图像传感器及其发光系统来与其外部环境通信，而不会 招致为传统的射频无线通信(例如发送机和接收机)进行配备的成本。使用胶囊相机的光 学系统可以将信息、命令或数据接收到胶囊相机。图像可以通过例如胶囊相机的视场中的 静止物体来展现，以便被图像传感器捕获。对于通过胶囊相机使用其图像传感器捕获、识别 和解码的特定图像图案、连续图像图案或颜色，可以用数据来表示。图像传感器捕获图案或图案序列作为图像数据，并且将所述图像数据提供给专用 集成电路(ASIC)，该ASIC分析所捕获的图像数据以便确定接收到的数据、命令或信息。在 一个实施例中，特定图案、图案序列、颜色或颜色图案被提供用以在图像中进行捕获。特定 图案、图案序列、颜色或颜色图案编码命令、数据或信息。在另一实施例中，可以使用图像序 列中展现的特定强度或强度图案、或特定强度的不同图像或强度图案来编码命令、数据或 fn息ο根据本发明的另一实施例，视频图像将命令、数据或信息传送到胶囊相机。视频图 像可以是视场中的运动或变化物体，以便被图像传感器捕获为视频图像。根据本发明的另一实施例，可以使用一个或更多LED来发信号至外部并且将数据 从胶囊相机传送到外部环境。例如，可以使用特定LED强度来传送特定命令、信息或数据。 可替换地，可以使用LED的特定强度闪烁序列来传送特定命令、信息或数据。在另一实施例 中，可以共同使用具有不同强度的多个LED来传送特定命令集合、信息或数据。作为又一个 示例，可以使用LED的特定强度闪烁序列来传送特定命令集合、信息或数据。在本发明的另一实施例中，可以使用多个LED的闪烁序列来传送特定命令、信息 或数据，每个LED提供不同的强度或颜色、或者强度和颜色的组合。在本发明的另一实施例 中，可以使用LED的导通时间的持续时间作为另一变量。在本发明的另一实施例中，关断时 间可被用作另一变量。LED可以用于当外部源与胶囊相机之间通信信息时的通信协议中。例如，LED信号 可以用作响应于从外部传送到胶囊相机的数据的确认信号或否认信号。在相反方向上，胶 囊相机的图像传感器可以检测响应于从胶囊相机传送的数据的光确认或否认信号。根据本发明的一个实施例，一种用于将数据传送到相机而在该相机中不需要传统 的无线传输性能的方法包括(a)在相机的视场中，提供形成图像的物体，在所述图像上编码数据；(b)使用相机的光学系统来捕获物体的图像；和(C)从物体的图像中恢复数据。所 述数据按照在所述物体的一部分或多个部分上的光学可检测数量(例如光强度或颜色)被 解码。所述数据可以通过光学可检测的数量在图像或其衍生物内的分布来运送。相机的视 场可被划分为多个子区域以便允许提供多个数据承载(data bearing)图像。可以使用所 述图像的序列来增加能够以这种方式传送的数据量。另外，可以使用时间域来创建其它维 数的数据编码。另外，使用相机中的一个或更多发光装置能够提供相反方向的通信。一种 使用是提供响应(例如基于所恢复的数据对数据传输的确认或否认)。通过相机外部的一 个或更多光检测器可以检测相机的响应。使用交互式通信协议可以执行通信。通过在相机 中提供多个发光装置和在外部提供多个光检测器，系统提供并行数据总线，其可以包括管 理总线上的定时的时钟信号。所述数据可被表示为量化值。 在考虑下面结合附图的详细描述的情况下，本发明得以更好地理解。


图IA示意性示出了在GI道中具有板上存储器的胶囊相机01，它示出了体腔中的胶囊。图IB示意性示出了在GI道中具有发送机和天线的胶囊相机02，它示出了体腔中 的胶囊。图2A和图2B是根据本发明一个实施例的、在使用静止图像的从外部到胶囊相机 的通信期间胶囊相机中的信息流的功能方框图。图3A和图3B是根据本发明一个实施例的、在使用静止图像的从外部到胶囊相机 的通信期间胶囊相机中的信息流的功能方框图。图4示出了根据本发明一个实施例的用于数据传输的图像的一个示例。图5示出了其中强度急剧增加的边缘和强度的导数(derivative)。图6A和图6B示出了条形码中的单个条的强度；图6A示出了暗背景中亮单个条， 而图6B示出了亮背景中的暗条。图7是示出根据本发明一个实施例的、其中将命令从外部传送到胶囊相机的示例 性通信会话的流程图。 图8是示出根据本发明一个实施例的、当外部图像捕获装置41被展现并布置来检 测来自照明单元12的照明时或者当来自照明单元12的光在外部图像41的视场之内时在 胶囊相机01的操作期间的信息流的功能方框图。图9是示出根据本发明一个实施例的、当多个外部图像捕获装置41和N个照明单 元12被展现并布置成每个照明单元12或者来自每个照明单元12的光在一个或更多外部 图像捕获装置41的视场之内时在胶囊相机01的操作中的信息流的功能方框图。图IOA是示出根据本发明一个实施例的、当外部光检测器43被展现并布置成照明 单元12或者来自照明单元12的光可能到达外部光检测器43时在胶囊相机01的操作期间 的信息流的功能方框图。图IOB是根据本发明一个实施例的、在使用LED和光检测器将数据或命令从胶囊 内部通信到外部期间的胶囊相机的信息流的功能流程图。 图IlA示出了从第一图像中的区域中收集的值和从图IlB中的第二图像中收集的值的示例；用以确认或者联合地提供所发送的信息。
具体实施例方式对于包括板上存储器(on-board storage)但不包括无线发送机的胶囊相机，或者 对于具有无线发送机但具有从相机到外部的辅助数据传输路由的胶囊相机，可以使用胶囊 相机内的LED将数据、命令或信息从胶囊相机内传送到其外部。而且，胶囊相机内的图像传 感器(其能够捕获图像、视频或两者)可以解译处理器中捕获的图像或视频以便确定在其 视场内看到的物体是否通信任何数据、命令或信息。由于图像传感器和LED是胶囊相机的 惯用组件，因此使用图像传感器和LED来通信胶囊相机与外部之间的信息不会增加额外的 开销成本。图IA示出了根据本发明一个实施例的身体体腔00内的可吞咽胶囊相机01。体腔00例如可以是结肠、小肠、食道或胃。胶囊相机01在身体内部时是完全自主的，其所有元件 被封装在胶囊外壳10中，该胶囊外壳10提供潮湿屏障，保护内部组件不受体液的影响。胶 囊外壳10是透明的，因此允许来自照明系统12的LED的光穿过胶囊外壳10的壁直到体腔 00壁，并且允许来自体腔00壁的散射光在胶囊内被收集并成像。隔板或反射器11被用来 将光导向物体和避免光直接进入瞳孔。胶囊外壳10也保护体腔00不与胶囊外壳10内部的 外来材料直接接触。胶囊外壳10的形状被提供为使其能够易于吞咽并且随后穿过GI道。 通常，胶囊外壳10是无菌的，由无毒材料制成，并且足够平滑以最小化寄宿体腔的机会。如图IA所示，胶囊相机01包括照明系统12以及含有光学系统14和图像传感器 16的相机。图像传感器16捕获的图像可以通过基于图像的运动检测器18来处理，该基于 图像的运动检测器18确定在相机的光学视场内胶囊相对于GI道部分是否正在运动。基于 图像的运动检测器18能够以在数字信号处理器(DSP)或中央处理单元(CPU)上运行的软 件、以硬件或者软件和硬件的结合来实现。可选的基于图像的运动检测器18可以具有一个 或更多部分帧缓冲器，在取回胶囊之后，可以提供半导体非易失性档案存储器20以便允许 在身体外部的系泊部位(docking station)处恢复图像。系统01包括电池电源24和输出 端口 26。通过蠕动可以将胶囊相机01推动穿过GI道。照明系统12可以通过LED来实现。在图1中，LED位于相机的光圈附近，尽管其 它配置是可能的。例如，也可以将光源提供在光圈的后面。也可以使用其它的光源，例如激 光二极管。可替换地，也可以使用白光源或两个或更多窄波长波带源的组合。白LED是可 用的，该白LED可以包括蓝LED或紫LED，连同被LED光激励来发射更长波长的光的磷光材 料。允许光穿透的胶囊外壳10部分可以由生物兼容玻璃或聚合物制成。光学系统14可以包括多个折射型、衍射型或反射型透镜元件，它在图像传感器16 上提供体腔壁的图像。图像传感器16可以通过将接收到的光强度转换为相应电信号的电 荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)型器件来提供。图像传感器16可以具 有单色响应或包括滤色镜阵列，从而可以捕获彩色图像(例如使用RGB或CYM表示法)。来 自图像传感器16的模拟信号优选地被转换为数字形式以便允许以数字形式进行处理。这 样的转换可以使用模数(A/D)转换器来实现，该A/D转换器可被提供在传感器内部(就象 当前情况一样)，或者被提供在胶囊外壳10内部的另一部分中。A/D单元可被提供在图像传 感器16与系统的剩余部分之间。照明系统12中的LED与图像传感器16的操作同步。控制模块22的一个功能是在图像捕获操作期间控制LED。当图像相对于先前图像显示足够运动时，运动检测模块18(如果配备)选择该图像进行保留，以便节省可用的有限存储空间。图像被存储在板上档案存储器系统20中。 图IA中所示的输出端口 26在活的有机体内是不操作的，但是在胶囊穿过身体而被取回之 后将数据上传到工作站。也可以使用运动检测来调节图像捕获率(即，相机捕获图像的频 率)。当胶囊运动时，人们期望增加捕获率。如果胶囊保持在相同位置，则可以期望不太频 繁地捕获图像以节省电池能量。图IB示出了根据本发明一个实施例的可吞咽胶囊系统02。胶囊系统02可以与图 IA的胶囊相机01的构造基本相同，除了不再需要档案存储器系统20和输出端口 26。胶囊 系统02还包括都在无线传输中使用的通信协议编码器27和发送机28。因此胶囊01和胶 囊02的基本相同的元件具有相同的附图标记。因此此处不再描述它们的构造和功能。通 信协议编码器27能够以在DSP或CPU上运行的软件、硬件或者软件和硬件的组合来实现。 发送机28包括用于发送所捕获的数字图像的天线系统。图IA和IB中的上面示例是具有位于末端沿着纵轴向前或向后看的透镜的胶囊相 机。然而，本发明可应用于使用实现光学系统(例如在Capso Vision公司提交的美国专利 申请序列号第11/642，275号和美国临时专利申请序列号第60/862，973号中描述的全景光 学系统)的其它方式的方法，其公开了捕获位于与胶囊相机的纵轴垂直方向上的物体的图 像的系统。图2A是胶囊相机01的操作期间的信息流的功能方框图。另外，图像9在胶囊相 机01的视场内被示出(象征性地)展现给胶囊相机01。图像9可以是任何一维(ID)、二 维(2D)或三维(3D)物体，其通过光学系统14在图像传感器16上形成图像。在胶囊相机 01中，基于运动检测电路18(其决定当前图像是否与先前图像足够不同)做出的决定，捕获 一些图像但是不将其存储在档案存储器20中。如果不认为图像与刚好先前存储的图像足 够不同，则可以丢弃该图像。可以提供辅助传感器17 (例如pH、热或压力传感器)。来自图 像传感器16的数据在被图像处理器/压缩块19或辅助传感器17处理之后，被存储在档案 存储器系统20中。控制模块22可以由微处理器、状态机或随机逻辑电路或这些电路的任 意组合组成，该控制模块22控制所述模块的操作。闪存系统20可以通过一个或更多非易失性半导体存储装置来实现。存在可以使 用的许多存储器类型；甚至可以使用照相软片用以图像感测和存储。由于针对数字图像处 理技术，例如运动检测，图像数据被数字化，因此选择与数字数据可兼容的存储器技术。闪 存系统20中的数据可以通过输出端口 26来存取。在图2A中，在人体内部的胶囊相机01的正常诊断操作期间，通过照明系统12来 提供用于捕获图像的发光。然而，当图像9被提供来将数据从外部通信到胶囊相机01时， 通过外部环境来控制和提供发光，因此可以通过图像传感器16来捕获具有预定颜色和强 度的图像，而照明单元12被关闭或者仅形成总发光的一部分。图2B是胶囊相机01的操作期间的信息流的功能方框图。另外，图像9在胶囊相 机01的视场内被示出(象征性地)展现给胶囊相机02。在胶囊相机02中，与胶囊相机01 不同，不存在板上存储器，但是提供发送机28A和天线28B来将数据发送到外部，而不是将 数据存储在闪存中。
图3A是胶囊相机01的操作期间的信息流的功能方框图。图3A也示出了(象征 性地)在胶囊相机01的视场内展现给胶囊相机01的视频8。视频8可以是由意欲通过光 学系统14在图像传感器16中创建图像序列的任意1D、2D或3D运动或变化物体形成的图 像序列类似地，图3B是胶囊相机02的操作期间的信息流的功能方框图。另外，图3B也示出了(象征性地)在胶囊相机01的视场内展现给胶囊相机01的视频8。视频8可以是 由意欲通过光学系统14在图像传感器16中创建图像序列的任意1D、2D或3D运动或变化 物体形成的图像序列。在图3B中，不存在板上存储器，但是提供发送机28A和天线28B来 将数据发送到外部，而不是将数据存储在闪存中。在图2A、图2B、图3A和图3B的系统中，环境中的发光被控制并被提供来展现图像 9或视频8以便将数据通信到胶囊相机01或02。形成图像9或视频8的图像、视频或物体 以预定方式和位置被放置以实现期望图像或胶囊相机01或02的图像传感器16中的图像。 在本发明的一个实施例中，预定图案或图案序列表示外部与胶囊相机01或02之间的通信 会话、标题或分隔符(delimiter)的开始。另一图案或图案序列表示通信会话的结束。隔 板可被用来避免色度亮度干扰(crosstalk)，因此更精确地拾取来自一个或更多预期源的 光。图2A和图2B中的图像可以是胶囊相机视场内的静止物体的图像。类似地，图3A 和图3B中的视频可以是实际运动物体或变化物体的视频，其提供胶囊相机的图像传感器 中的已知图像序列。在本发明的一个实施例中，变化物体可以是外部的白LED、彩色LED或 其它光源。每个图像或图像序列代表所传送的信息。图4示出了根据本发明一个实施例的 用于数据传输的图像的一个示例。如图4所示，在图像400中，图像区域被划分为许多子区 域401-406。每个区域中的像素强度对η位数据进行编码(假设胶囊相机的图像传感器具 有η位强度分辨率)。使用颜色，可以将所传送的数据量进一步增加多倍。所传送的信息量 取决于可在胶囊相机的视场中展现的子区域的数目，其依次取决于传感器像素大小、传感 器分辨率和可以放置在传感器视场中的外部图案的精确度。尽管图4中示出为矩形，但是 子区域401-406可以是任何期望的形状。在图4的子区域401-406的情况下，用来传送信 息的数据可以是平均的单独像素强度或颜色、和如图5中所示的边缘差。图5示出了(a) 光强度急剧增加(在χ方向上)所穿过的边缘和(b)光强度沿χ方向的导数。可替换地， 也可以使用局部最小或最大的光强度，例如图6所示。在图像传感器中创建最大值和最小值的一种方式是在相机的视场中具有数个LED 和黑物体。由于胶囊相机与外部之间的通信优选地为双向的，因此将数据、命令或信息从胶 囊相机传送到外部的一种方法是使用相机的LED。在这种方法下，外部光检测器或传感器 感测LED光强度。当外部LED有效时，一个或更多外部图像传感器应当被禁止来捕获数据。 可替换地，在所述时间期间捕获的数据应当被接受为从胶囊相机传送到外部的数据。在本 发明的一个实施例中，使用隔板来阻挡色度亮度干扰，以便使能同时双工传输。在本发明的 另一实施例中，外部LED的光强度或其导数(例如光强度最小值或最大值)对外部图像传 感器或光检测器的影响被减去以便确定从胶囊相机的LED传送实际的影响。图5示出了光强度在χ方向上急剧增加所在的边缘的示例。胶囊相机的图像传 感器检测从外部LED传送的数据、信息或命令以及强度的相应导数。边缘高度05 ( "delta05”)表示所传送的数据、命令或信息。在一个实施例中，取代delta 05的大小，取决于边缘高度落入的数个范围之一，边缘高度可被量化为数个离散值之一。每个离散值表示所传 送的数据、命令或信息中的至少一部分。由于用于通信的环境和设施并不具有无限的精度， 并且由于可能存在胶囊相机彼此的差异，因此可以使用一个范围(而不是精确的数值)来 表示数据、命令或信息。在本发明的另一实施例中，测量值(例如强度、或强度的导数，例如最大值)的一 个范围表示具体数据、命令或信息的至少一部分。测量范围在值方面彼此分离，以便避免由 于通信环境中的噪声或者装置到装置差异引起的误差。如图5所示，导数“id 02”可被用 作另一形式以表示数据、命令或信息中的至少一部分。在本发明的一个实施例中，当满足下 列条件时识别所表示的数据、命令或信息dl =< delta 05 =< dh和idl =< id 02 =< idh图6A和图6B示出了条形码中的单个条的强度；图6A示出了暗背景中的亮单个 条；而图6B示出了亮背景中的暗条。除了它们的大小，图6A中的dl06和d207以及图6B 中的dl03和d204的极性(即，递增或递减强度的方向)也被用来表示附加信息。因此，图 5和图6图示了可被用来使用相机的图像传感器并且利用预定图案或物体的优势通过将所 述图案或物体放置在相机的视场中将信息通信到胶囊相机的两种方法。其它方法包括例如 子区域内的简单平均光强度值或彩色图案。健壮通信实践(例如信道编码、标题信息、检错和纠错、冗余位、开始、结束和确认 信息)都可以通过其LED从胶囊相机传送到外部以及通过胶囊相机的图像传感器从外部传 送到胶囊相机。在从外部到胶囊相机的传输期间，相机的LED可被用来将确认或未确认信 息从胶囊相机发送回外部。类似地，胶囊相机的图像传感器可被用来响应于从胶囊相机传 送的数据接收从外部到胶囊相机的确认或未确认信息。图7是示出根据本发明一个实施例的、其中将命令从外部传送到胶囊相机的示例 性通信会话的流程图。在捕获图像之后(步骤35)，图像传感器16将所捕获的图像数据发 送到图像处理器19用以分析(步骤38)，以便检测任何期望的预定义的图案。如果图像数 据不包含预定义的图案，则胶囊相机在步骤37继续它的正常操作。在通信会话期间，可以传送比其它数据或信息更关键的数据和信息(例如确认协 议或标题)。仅能容忍低错误率的所述数据或信息可以利用下列条件被传送(a)几乎不可 能的图像图案组合(即，图像图案组合被设计成使得胶囊相机在正常操作下遇到的图像图 案不能具有混乱)；(b)空间域中的高冗余、检错和纠错。在本发明的一个实施例中，时域可被用来利用在不同时间点提供的图案(请参考 例如步骤31)来降低错误率。根据另一实施例，图像图案根据预定的规则可以在不同时间 变化。在需要数个图像来完成数据的传输的情况下，一个时间间隔(例如步骤32)分离期 望的图案。所述时间间隔允许通信设置来替换在下一胶囊相机曝光之前的图像和所拍摄的 图像。在一个实施例中，如果下一期望的图像或图案未被示出在时间间隔之内，则发生超时 事件，要求重新开始通信会话(图7中未示出)。对于关键事件(例如，关键命令、传输的开始或会话的结束)，可以交互式地执行多次传输/确认交易(步骤31或33)，以便确保通信中的健壮性。例如，当通过胶囊相机 的图像传感器检测到来自外部的命令或开始图案或开始图案序列时，相机的LED以预定的 方式通过一个或更多闪烁(flash)来提供确认(步骤33)。在接收来自相机的LED的确认 之后，可以发送另一开始图案或图案序列(步骤34)。该新的图案或图案序列可能不同于 先前的图案或图案序列。相机的LED可以使用例如不同的LED图案或图案序列来再次确认 (步骤33)。因此，可以使用多层协议来开始会话以及提供相应的确认。所述协议不仅可被 用于命令或者用于通信传输的开始；它可被用以任何命令或数据。当数据从胶囊相机传送 到外部时，如图8-10中所示，也可以使用所述协议。图8是示出当外部图像捕获装置41被展现并布置来检测来自照明单元12的照明 时或者当来自照明单元12的光在外部图像41的视场之内时在胶囊相机01的操作期间的 信息流的功能方框图。由外部图像捕获装置41从胶囊相机接收到的图像数据被转送到处 理器(未示出)用以解释。从胶囊相机发送的数据可以通过光强度、颜色或者它们的变化 连同胶囊相机的照明单元12的照明时间一起而被编码。控制模块22可以由微处理器、状 态机或随机逻辑电路或者这些电路的任意组合组成，该控制模块22控制照明单元12的操 作。控制模块22可以基于闪存20中存储的数据来控制照明单元12。在图8中，在胶囊相 机与外部图像捕获装置41之间的通信期间环境中的发光条件受到控制。例如，以使得在外 部图像捕获装置41中的图像传感器上实现已知的预定期望信号电平的方式提供外部图像 捕获装置41相对于胶囊相机01的位置和方位。图9是示出当多个外部图像捕获装置41和N个照明单元12被展现并布置成使得 每个照明单元12或者来自每个照明单元12的光在一个或更多外部图像捕获装置41的视 场之内时在胶囊相机01的操作中的信息 流的功能方框图。将来自每个外部图像捕获装置 41的数据提供给处理器(未示出)用以处理。从胶囊相机01发送到外部捕获装置41的 信息可以通过光强度、颜色或者它们的变化连同照明时间一起而被编码。控制模块22可以 由微处理器、状态机或随机逻辑电路或者这些电路的任意组合组成，该控制模块22控制每 个照明单元12的操作。控制模块22可以基于闪存20中存储的数据来控制照明单元12。 外部图像捕获装置41的数目不必等于内部照明单元12的数目。而且，可以使用一个或更 多处理器来分析和解码由照明单元12发送到外部图像捕获装置41的信息。在一个实施例 中，可以使用隔板来避免色度亮度干扰，因此来自照明单元12的光可以在外部图像捕获装 置41处得以更精确地检测。此上讨论的涉及图5到图8的协议和方法的技术同样可应用于每个照明单元12 和每个图像捕获装置41。在图9的结构中，不同的LED强度可以表示不同的数据值。例如， 图9的照明单元12中用于发送数据的N个LED可被组织来形成N位宽的总线。也可以从 这些N个LED中布置LED强度的组合来表示一个值或值集合。而且，一个或更多LED可以 改变它们的强度来表示一个值或值集合。在本发明的一个实施例中，可以使用一个LED来提供时钟信号。每个LED可以具 有数个信号电平，因此可以表示不止一个位。因此，当使用两个或更多LED时，许多强度组 合可用于表示许多可能的数据值。在一个实施例中，可以使用一个或更多LED来提供时钟 信号。在另一实施例中，可以使用该时钟信号而不是操作100%时间的专用时钟信号来不时 地在胶囊相机与外部世界之间同步。提供临时的时钟信号允许LED的带宽不被时钟信号功能完全消耗。例如，系统可能足够精确来每微秒IO6-I次发送和接收数据，但是每IO6次定 时系统内部和定时系统外部的累积错误可能需要同步来确保下一 IO6-I个交易被正确地处 理。因此，LED时钟信号仅花费其带宽的1/106来执行时钟功能。这种技术可用于通信中的 两个方向。图IOA是示出胶囊相机01的操作期间的信息流的功能方框图。另外，外部光检测 器43被放置用于检测来自照明单元12的光。将外部光检测器43接收到的数据提供给处 理器45，以便解码从胶囊相机01发送的信息。可以通过强度、颜色或它们的变化连同照明 单元12的照明时间来编码数据。控制模块22可以由微处理器、状态机或随机逻辑电路或 这些电路的任意组合组成，该控制模块22控制照明单元12的操作。控制模块12可以基于 闪存20中存储的数据来控制照明单元12。
在图IOB中是示出胶囊相机01的操作期间的信息流的功能方框图。另外，光电二 极管48用于检测照明单元12，或者来自照明单元12的光可以到达光电二极管48。与图 IOA不同，光电二极管48-不是光检测器43-用作光检测器。来自光电二极管48的信号 (例如电流)被发送到模数转换器47，该模数转换器依次将数据传送到外部处理单元45，在 该外部处理单元45中解码由照明单元12发送的命令、信息或数据。在本发明的一个实施 例中，处理单元45具有数字积分器来测量接收到的总光量。在另一实施例中，可以使用模 拟积分器来测量接收到的总光量。外部图像或视频捕获装置41 (图8)以及光检测器43和47 (图IOA和图10B)可 以与外部图像、视频、光源8和9(图2A、2B、3A和3B)共同存在，以便允许胶囊相机及其环 境之间的双工或半双工数据通信。在本发明的一个实施例中，图像8以及视频9都不占据 胶囊相机的整个视场，因此外部图像或视频捕获装置41、光检测器43或47可位于相同视场 中。在一个实施例中，当外部图像或视频捕获装置41、或光检测器43或47在相同视场内 时，外部LED或者其它光源以它的光可被胶囊相机01中的图像传感器16检测的方式被用 在胶囊相机视场的外部。在一个实施例中，由于LED的光被设计成覆盖胶囊相机01外部的 某些区域，因此来自胶囊相机的照明单元12中的LED的光被外部图像或视频捕获装置41、 或光检测器43或47 (位于胶囊相机01的视场的外部)检测到。为了降低光源之间的色度 亮度干扰，在数据传输的任一方向上可以使用隔板。如上所讨论的，在胶囊相机和外部设置之间的通信会话期间，所传送的一些数据 或信息(例如确认和标题)被认为比其它数据或信息更关键。这样的数据或信息要求低错 误率，因此它们可以使用几乎不太可能的图像图案来进行传输，具备冗余和检错以及空间 域中校正的高开销。在一个实施例中，时间域冗余可被用来降低错误率。在另一实施例中， 图案可以在不同时间改变，不同时间处的两个图像被预定关系来管理以便提供冗余。图IlA和图IlB图示了其中从两个不同时间处的两个图像衍生的两个图像矩阵的 示例。图像矩阵的每个项是16个子区域的相应一个内的像素平均值(通过比较，图4示出 了具有3X2个子区域的图像)。如图IlA和图IlB所示，这些矩阵的左半部上的子区域的 值在图IlB中比图IlA中的相应值大10。类似地，在这些矩阵的右半部上，图IlB中的值比 图IlA中的相应项小20。在一个实施例中，可以交换数据的位置。在另一实施例中，一页上 的图像数据是每个对应于光强度的数个范围之一的量化值。在一个实施例中，图像(或者 图像序列)之间的时间可以是特定时间范围，在所述时间范围内可以在检测第一图像之后检测第二图像，具有或不具有超时功能。这些考虑可应用于双向通信。如上所讨论的，将值范围内的一个值量化为单个离散数据值优越于将那个值提供 为精确的单个值，因为测试环境中的发光精度、精确的物体形状和颜色以及胶囊相机的位 置不能被高精度地控制。传感器逐个膜芯(die)内的像素而变化，逐个膜芯而变化，逐个晶 片而变化以及逐堆(lot)而变化；这些变化中的任一个可以归因于所捕获的值的偏差。在 一个实施例中，对于更大值，所述范围更大。所传送的数据或信息可以通过像素值或者从像素值中衍生的数据(例如，像素值 的平均值或差值)来表示。例如，递增值或递减值可以通过沿着给定方向在光强度中的跳 跃或突变下降来表示，其可以使用边缘检测方法来读取，例如由图5中所示的delta 05以 及图6中的03、04、06、07来图示。可替换地，数据可以通过在两个不同位置处或在不同时 间处的光学可测量的数量之间的差、或者通过在两个或更多位置处的光学可测量的数量之 间的算术或逻辑关系来表示。在一个实施例中，所传送的数据根据打算要通信的编码和数据之间的预定表格或 关系而编码。所述表格或关系可以是时变的，或者从一种图案或图像变化为一系列图案或 图像中的下一个。在一个实施例中，使用在后一时间传送的图像或图案来确认在后一时间 传送的图像和图案。在一个实施例中，数据和表示该数据的代码具有不同的位数。在一个 实施例中，数据由具有唯一值集合的代码表示。为了高效率地通信数据，更频繁发生的数据 或数据集合可以通过具有比表示不太频繁发生的数据或数据集合的代码更少位数的代码 来表示。在一个实施例中，用于解码数据的表格或关系取决于表示一系列图案或图像内的 数据的图案的位置、图像或时间。在一个实施例中，根据从在两个位置、时间或位置和时间的组合处的值衍生的值来表示数据。在一个实施例中，表格或关系根据日期、用户ID、口令 或其它信息而变化。上面详细的描述被提供来图示本发明的特定实施例，而不意欲进行限制。在本发 明的范畴之内的许多变化和修改是可能的。本发明如所附权利要求所阐述。
权利要求
一种将数据或命令传送到相机的方法，包括在相机的视场中，提供形成图像的物体，在所述图像上编码数据；使用相机的光学系统来捕获物体的图像；和从物体的图像中恢复数据。
2.如权利要求1的方法，其中所述数据按照物体的一部分或多个部分中的光学可检测 的数量被解码。
3.如权利要求2的方法，其中所述光学可检测的数量包括下列中的一个或更多光强 度和颜色。
4.如权利要求2的方法，其中所述恢复数据包括分析所述光学可检测的数量在图像 内的分布。
5.如权利要求2的方法，其中所述恢复数据包括分析所述光学可检测的数量在图像 内的分布的变化。
6.如权利要求1的方法，其中所述物体是图案。
7.如权利要求1的方法，其中所述物体被放置在相机视场的预定位置处。
8.如权利要求5的方法，其中所述预定位置在相机视场的多个预定区域之一内。
9.如权利要求1的方法，还包括在预定时间间隔之后捕获第二图像。
10.如权利要求9的方法，还包括在所述预定时间间隔期间移动物体。
11.如权利要求9的方法，还包括在所述预定时间间隔期间改变物体。
12.如权利要求11的方法，其中所述数据按照物体的一部分或多个部分中的光学可检 测的数量被编码。
13.如权利要求12的方法，其中所述光学可检测数量包括下列中的一个或更多光强 度和颜色。
14.如权利要求12的方法，其中所述恢复数据包括分析光学可检测的数量在图像内 的分布。
15.如权利要求12的方法，其中所述恢复数据包括分析光学可检测的数量在图像内 的分布的变化。
16.如权利要求1的方法，其中所传送的数据包括下列中的一个或更多命令、数据或fn息ο
17.如权利要求19的方法，还包括控制对物体的照明。
18.如权利要求17的方法，还包括基于所恢复的数据，使用相机中的一个或更多发光 装置来指示对数据传输的响应。
19.如权利要求18的方法，其中所述发光装置被提供来将数据从相机传送到外部。
20.如权利要求18的方法，还包括使用相机外部的一个或更多光检测器检测来自相 机的发光装置的光。
21.如权利要求20的方法，其中每个光检测器包括光电二极管和模数转换器。
22.如权利要求20的方法，其中所述光检测器被放置在相机的视场的外部。
23.如权利要求20的方法，其中与相机的通信通过交互式通信协议来管理。
24.如权利要求20的方法，其中所述发光装置提供并行数据总线。
25.如权利要求24的方法，其中所述发光装置之一提供时钟信号。
26.如权利要求1的方法，其中所述数据表示量化的值。
全文摘要
一种用于将数据传送到相机而在该相机内不需要传统的无线传输性能的方法，包括(a)在相机的视场中，提供形成图像的物体，在所述图像上编码数据；(b)使用相机的光学系统来捕获物体的图像；和(c)从物体的图像中恢复数据。所述数据按照物体的一部分或多部分中的光学可检测的数量(例如光强度或颜色)或图案而被编码。所述数据可以通过光学可检测的数量在所述图像或其衍生物内的分布来获得。相机的视场可被划分为多个子区域以便允许提供多个数据方位图像。可以使用这样的图像的序列来增加能够以这种方式传送的数据量。
文档编号G03B41/00GK101802708SQ200880106599
公开日2010年8月11日 申请日期2008年9月12日 优先权日2007年9月14日
发明者丘恩-塔·李, 王康怀 申请人:卡普索影像股份有限公司