集成控制装置和显示系统的制作方法

本申请涉及人机交互技术领域，更具体地，涉及集成控制装置和显示系统。

背景技术：

随着大数据时代的到来，海量数据的安全成为“人机交互”中必须有效解决的关键问题。为了满足不断增长的用户需求，电子设备上采用了越来越多的传感器，例如重力传感器、陀螺仪、环境光传感器、指南针、气压传感器、触控传感器、指纹传感器、麦克风、摄像头等等等。这些传感器的控制都有相应的算法和控制逻辑，有些应用甚至还需要在电子设备休眠时依然工作和记录相关数据，例如记录用户步行的轨迹/速度等。如果电子设备的主控芯片全程参与计算和控制，使主控芯片的工作量繁重并且耗电量巨大。为了解决该问题，往往采用外加一颗芯片作为传感器的中继，例如可以在电子设备的主控芯片与众多传感器之间加入一颗低功耗的mcu，此mcu连接各种传感器以起到中继的作用，可称之为传感器中继(sensorhub)，负责调度和处理来自各传感器的数据，以减轻主控芯片的负担。

然而随着安全验证技术的发展，越来越多的传感器数据被用来进行安全验证相关的操作，例如目前普遍采用的指纹数据、人脸图像、虹膜图像、声纹数据、输入密码或验证码时的触控数据等等。然而这些传感器数据作为敏感数据并未得到充分的保护，通常sensorhub将获得的传感器数据直接提供给电子设备的主控芯片，主控芯片采用可信执行环境(tee，trustedexecutionenvironment)安全保护机制，诸如生物特征验证、pin码验证等操作均在tee环境下进行。但tee属于一种软硬结合方案，仍然不能从硬件层面使信息得到充分的保护。如果应用程序app设法获取到敏感数据，那么对于用户隐私的保护是极其不利的。某些恶意的应用程序app甚至可以利用敏感数据冒充用户身份，从而产生极大的安全隐患。

因此，期待进一步改进传感器数据安全性。

技术实现要素：

鉴于上述问题，本发明的目的在于提供一种集成控制装置和显示系统，其中，集成控制装置中整合了多种传感器单元和安全模组，在起到传感器中继作用的同时，还提高了安全性。

根据本发明的第一方面，提供一种集成控制装置，包括：多个传感器单元，分别与多个传感器相连接，用于从所述多个传感器采集感应数据；第一处理器，用于管理所述多个传感器单元从所述多个传感器采集感应数据，并根据预设的规则或根据接收到的指令来输出采集的感应数据；安全模组，用于在第一处理器的控制下根据至少部分感应数据进行安全验证和/或对至少部分感应数据进行加密；通信接口，与第一处理器相连，用于与电子设备的主控单元通信。

优选地，所述安全模组包括：第二处理器，用于在第一处理器的控制下根据至少部分感应数据进行安全验证和/或对至少部分感应数据进行加密；存储单元，用于存储感应数据、加密数据、用于安全验证的验证模板和验证结果当中的至少一个。

优选地，所述第一处理器还用于根据采集的感应数据来判断是否满足唤醒主控单元的条件，如果是，则将处于休眠状态的主控单元唤醒。

优选地，所述第一处理器还用于在收到安全验证指令时控制安全模组根据采集的感应数据进行安全验证，并根据验证结果来判断是否满足唤醒主控单元的条件。

优选地，所述集成控制装置还包括：显示单元，用于向显示装置提供显示驱动信号；所述第一处理器还用于控制所述显示单元向显示装置提供显示驱动信号。

优选地，所述多个传感器单元中的至少一个传感器单元包括：第一接口，用于与对应的传感器通信；逻辑模块，用于向对应的传感器提供驱动信号和从所述对应的传感器接收感应信号，以及对接收到的感应信号进行放大和数模转换，以产生感应数据；以及第二接口，用于与所述第一处理器通信。

优选地，所述多种传感器包括重力传感器、陀螺仪、环境光传感器、指南针、气压传感器、温度传感器、湿度传感器、压力传感器、触控传感器、指纹传感器、掌纹传感器、音频传感器、图像传感器中的至少两种。

优选地，所述集成控制装置为单个芯片。

根据本发明的第二方面，提供了一种显示系统，包括：显示装置，用于根据显示数据显示图像；多个传感器，用于产生感应信号；上述的集成控制装置。

优选地，所述显示装置包括液晶显示屏或amoled显示屏。

根据本发明的实施例，集成控制装置中的处理器可以协助电子设备的主控单元来管理多种传感器的数据采集和传输，集成控制装置内还设有安全模组，能够基于感应数据进行诸如加密、安全验证、安全存储等数据处理。通过在集成控制装置的安全模组中进行诸如加密、安全验证之类的安全操作，敏感数据不会未经保护就提供给主控单元300的开放环境中，能够对涉及到安全的感应数据进行硬件级别的保护，相比于传统的软硬结合的保护方式，提高了系统安全性。

本发明实施例的处理器可以利用安全模组来执行唤醒条件的判断，例如可以在指纹验证通过时判断满足唤醒条件，从而将主控单元唤醒，在确保了系统低功耗的同时，还提高了安全性，改善唤醒操作的灵活性。

采用集成控制装置可以降低现有显示模组的结构尺寸，减少电子元器件数量，降低设计复杂度，提高成品率。

在优选的实施例中，集成控制装置的各个模块集成于单个芯片中。进一步地，将闪存也集成于集成控制装置的芯片中。由于特征数据本地存储于芯片内部，因此，可以进一步提高安全性。

附图说明

通过以下参照附图对本发明实施例的描述，本发明的上述以及其他目的、特征和优点将更为清楚。

图1示出根据本发明第一实施例的具有集成控制装置的电子设备的示意性框图。

图2示出根据本发明实施例的安全模组的示意性框图。

图3示出根据本发明另二实施例的具有集成控制装置的电子设备的示意性框图。

图4示出根据本发明实施例的传感器单元的示意性框图。

图5示出了根据本发明第三实施例的集成控制装置的示意性框图。

图6示出根据本发明第四实施例的集成控制装置的示意性框图。

图7示出根据本发明实施例的显示系统中采用分时复用方式进行显示和触控的时序图。

具体实施方式

以下将参照附图更详细地描述本发明。在各个附图中，相同的元件采用类似的附图标记来表示。为了清楚起见，附图中的各个部分没有按比例绘制。此外，可能未示出某些公知的部分。

在下文中描述了本发明的许多特定的细节，例如器件的结构、材料、尺寸、处理工艺和技术，以便更清楚地理解本发明。但正如本领域的技术人员能够理解的那样，可以不按照这些特定的细节来实现本发明。

在本申请中，术语“本地”表示设置在显示屏端的集成控制装置的芯片内部，或者与集成控制装置位于同一块印刷电路板上。例如，“本地验证”表示在集成控制装置的芯片内部由处理器执行验证程序，“本地存储”表示用于存储特征数据、加密程序和验证程序的非易失性存储器位于集成控制装置的芯片内部，或者与集成控制装置位于同一块印刷电路板上。

本发明可以各种形式呈现，以下将描述其中一些示例。

根据本发明实施例的集成控制装置可以作为传感器中继安装在具有多种传感器的电子设备中，集成控制装置中的处理器可以协助电子设备的主控单元来管理所述多种传感器的数据采集和传输。集成控制装置内还设有安全模组，能够基于感应数据进行诸如加密、安全验证、安全存储等数据处理。

图1示出根据本发明第一实施例的具有集成控制装置的电子设备的示意性框图。如图1所示，该电子设备的示例包括但不限于手机、平板电脑、笔记本电脑、vr设备、ar设备、手表、汽车、自行车等等。

该电子设备中设有多种传感器100，例如在图1的示例中包括第一传感器101和第二传感器102，第一传感器101和第二传感器102可以是不同类型的传感器，例如可以选自以下当中的两种：重力传感器、陀螺仪、环境光传感器、指南针、气压传感器、温度传感器、湿度传感器、压力传感器、触控传感器、指纹传感器、掌纹传感器、音频传感器、图像传感器等等。然而本领域技术人员应清楚，传感器100的数目和类型不限于此，可以根据需要选择所需类型和数目的传感器。

除此之外，电子设备还包括集成控制装置200和主控单元300。

主控单元300用于实现操作系统的功能，其可以由电子设备的应用处理器(ap，applicationprocessor)来实现。集成控制装置200可以作为传感器中继安装在具有电子设备中，用以协助主控单元300来管理所述多种传感器100的数据采集和传输，并实现数据的安全处理。

集成控制装置200包括多个传感器单元、安全模组202、处理器203、存储单元204和通信接口205。

在图1的示例中，集成控制装置包括第一传感器单元2011和第二传感器单元2012(以下统称传感器单元201)。第一传感器单元2011与第一传感器101相连，用于从第一传感器101采集感应数据，第二传感器单元2011与第二传感器102相连，用于从第二传感器102采集感应数据。

安全模组202用于执行安全相关操作，例如数据加密、安全验证、安全存储等等。如图2所示，安全模组202可以包括处理器2021和存储器2022。处理器2021用于在处理器203的控制下根据至少部分感应数据进行安全验证和/或对至少部分感应数据进行加密，还可以根据需要将感应数据、加密数据、用于安全验证的验证模板和验证结果当中的至少一个存储在存储器2022中。存储器2022中还可以存储其他安全相关内容，例如加密程序、安全验证程序等等。

处理器203可以采用mcu来实现，用于管理多个传感器单元201，并根据预设的规则或根据接收到的指令来输出采集的感应数据。例如，当多个传感器包括触控传感器、指纹传感器、心跳检测传感器、脉搏检测传感器、摄像头、麦克风等等时，可以预先设置调度规则，例如可以设置成将心跳传感器和脉搏传感器的数据定期发送给主控单元，而将来自触控传感器和指纹传感器的数据根据来自主控单元300的指令来发送给主控单元300，对于摄像头、麦克风的数据实时发送给主控单元300，等等。

处理器203还可以根据采集的感应数据和/或来自主控单元300的指令来判断是否满足唤醒主控单元300的条件。例如，对于触摸唤醒来说，处理器203可以周期性扫描触控传感器，并根据预设的规则基于来自触控传感器的触摸感应数据来判断是否触摸了预设的位置或者触摸时间达到了预设的阈值，如果是，则认为用户的触摸操作达到了唤醒条件，否则认为触摸未达到唤醒条件。当然还可以根据需要设置多种唤醒方式，例如可以设置摇动唤醒，当来自加速度传感器和/或重力传感器的感应数据显示用户对电子设备执行的摇动操作达到了唤醒条件时，处理器203向主控单元300发送唤醒信号以将其唤醒。作为另一示例，还可以设置指纹验证唤醒、声音唤醒、温度唤醒、压力唤醒等等。存储单元204内可以存储对应的唤醒程序以及相关数据。在主控单元300被唤醒之后，集成控制装置200可以继续进行传感器100的管理，在一些实施例中，还可以将传感器100中的一个或多个切换到主控单元300进行管理。

处理器200还可以控制安全模组202执行安全相关的操作。例如当应用程序需要执行安全验证操作时，例如在设备解锁时、支付时、以及其他需要安全验证的场景下，主控单元300可以通信接口205向处理器203发送安全验证请求，处理器203可以控制安全模组202在本地进行安全验证，安全验证模组202的处理器2021将采集的感应数据与存储器2022中本地存储的验证模板相比对，如果匹配，则判定验证通过，否则判定验证失败。安全模组202可以将验证结果提供给处理器203以便经由通信接口205发送给主控单元300。优选地，安全模组202还可以将验证结果加密后再输出，以进一步提高安全性。作为另一示例，在需要从传感器100获得用于验证、身份识别等涉及安全的敏感数据时，例如在生物特征模板注册阶段，主控单元300可以请求集成控制装置200进行加密传输，在这种情况下集成控制装置200的处理器203可以控制安全模组202对上述敏感数据进行加密，并将加密后的敏感数据(例如加密后的生物特征模板)提供给主控单元300。安全模组202还可以将加密后的敏感数据存储在本地存储器2022中，以进一步提高安全性。

存储单元204可以包括非易失性存储器，用于存储感应数据、唤醒程序等等。

通信接口205可以支持多种通信协议和数字i/o，例如i2c协议和spi协议，并且提供多个数字i/o管脚。处理器203可以经由该通信接口231与主空单元300通信。

根据本发明的实施例，集成控制装置中的处理器可以协助电子设备的主控单元来管理所述多种传感器的数据采集和传输，集成控制装置内还设有安全模组，能够基于感应数据进行诸如加密、安全验证、安全存储等数据处理。通过在集成控制装置的安全模组中进行诸如加密、安全验证之类的安全操作，敏感数据不会未经保护就提供给主控单元300的开放环境中，能够对涉及到安全的感应数据进行硬件级别的保护，相比于传统的软硬结合的保护方式，提高了系统安全性。

本发明实施例的处理器可以利用安全模组来执行唤醒条件的判断，例如可以在指纹验证通过时判断满足唤醒条件，从而将主控单元唤醒，在确保了系统低功耗的同时，还提高了安全性，改善唤醒操作的灵活性。

图3示出根据本发明第二实施例的具有集成控制装置的电子设备的示意性框图。与图2的实施例类似，该电子设备包括多种传感器100、集成控制装置210和主控单元300。

不同之处至少在于，图3的电子设备是具有显示装置110的电子设备，例如手机、平板电脑、ar设备、vr设备、智能手表等等。随着技术的发展，在电子设备上配置的显示屏不仅用于显示图像和文本，而且进一步发展成人机交互的重要途径。在显示屏上可以集成触控传感器、指纹传感器、音频传感器(例如麦克风)、图像传感器(例如摄像头)等，从而形成显示系统。用户可以直接在显示屏上输入文字、选择图标、手势控制、声音、人脸识别等操作。显示系统作为信息采集的入口和显示内容的出口，对数据交互的安全承担着不可替代的重要角色。在显示屏上采集的交互数据不仅包括例如键盘输入之类的文本信息，而且可能包括诸如指纹、脸部特征等隐私信息。这些敏感数据将从显示屏的驱动芯片传送至主板上的处理器，由操作系统进行处理以实现安全验证等功能。在图3的实施例中，显示装置110和多种传感器100整合在一起形成显示系统。该显示装置例如是选自液晶显示屏、led显示屏、amoled显示屏、量子点显示屏、电子纸、microled显示屏中的任一种。传感器100例如是选自触控装置、指纹传感器、光学传感器、声学传感器中的至少两种。在图3的实施例中，以触控液晶显示屏为例进行说明，其中，显示装置为液晶显示装置，传感器100包括触控传感器120、指纹传感器130、音频传感器140和图像传感器150。

集成控制装置210包括处理器211、存储单元204、显示单元21、多个传感器单元22和通信接口205。

如图3所示，多个传感器单元22包括触控单元221、指纹单元222、音频单元223以及图像单元224，分别与触控传感器120、指纹传感器130、音频传感器140和图像传感器150相连，用于在处理器211的控制下从相应的传感器采集感应数据并提供给处理器211。

该电子设备的主控单元300用于实现操作系统的功能，其可以由电子设备的应用处理器(ap，applicationprocessor)来实现。

安全模组202用于执行安全相关操作，例如数据加密、安全验证、安全存储等等。如图2所示，安全模组202可以包括处理器2021和存储器2022。处理器2021用于在处理器203的控制下根据至少部分感应数据进行安全验证和/或对至少部分感应数据进行加密。存储器2022可以存储感应数据、加密数据、用于安全验证的验证模板和验证结果、加密程序、安全验证程序等等当中的至少一种。在该实施例中，存储器2022验证模板可以来自主控单元300，也可以是在处理器211的控制下本地采集和数据处理获得的。在后者的情形下，不仅用户的敏感数据而且验证模板均在本地生成。操作系统仅仅从集成控制芯片210获得验证结果或者加密数据，而无法获取到敏感数据和验证模板二者，从而有利于提高安全性。

处理器211控制显示单元21和多个传感器单元22，根据预设的规则和/或接收到的指令来管理所述多个传感器单元22，并在满足条件时唤醒处于休眠状态的主控单元300。处理器200还可以控制安全模组202执行安全相关的操作，例如根据来自主控单元的指令将感应数据加密和/或基于感应数据进行安全验证。例如在设备解锁时、支付时、以及其他需要安全验证的场景下，主控单元300可以通信接口205向处理器203发送安全验证请求，处理器203可以控制安全模组202在本地进行安全验证，安全验证模组202的处理器2021将采集的感应数据与存储器2022中本地存储的验证模板相比对，如果匹配，则判定验证通过，否则判定验证失败。安全模组202可以将验证结果提供给处理器203以便经由通信接口205发送给主控单元300。优选地，安全模组202还可以将验证结果加密后再输出，以进一步提高安全性。作为另一示例，在需要从传感器100获得用于验证、身份识别等涉及安全的敏感数据时，例如在生物特征模板注册阶段，主控单元300可以请求集成控制装置200进行加密传输，在这种情况下集成控制装置200的处理器203可以控制安全模组202对上述敏感数据进行加密，并将加密后的敏感数据(例如加密后的生物特征模板)提供给主控单元300。安全模组202还可以将加密后的敏感数据存储在本地存储器2022中，以进一步提高安全性。

在一些实施例中，可以采用安全验证唤醒方式，在这种情况下处理器211可以在主控单元300处于休眠状态时控制安全模组202基于采集的感应数据进行安全验证，并在安全验证通过时唤醒主控单元300。

处理器211可以将感应数据、加密数据、安全验证结果等等打包后提供给主控单元300。例如可以在数据内容之前附加开始位和类型标识，在数据内容之后附加结束位和校验位，主控单元300可以根据类型标识来识别数据内容属于哪一种类型，还可以识别感应数据来自哪一种传感器。

存储单元204可以为非易失性存储器，例如闪存，其可以存储感应数据、唤醒程序等等。

通信接口205可以支持多种通信协议和数字i/o，例如i2c协议和spi协议，并且提供多个数字i/o管脚。处理器211经由通信接口231与主控单元300通信。

下面参考图4来描述多个传感器单元22的结构，其中多个传感器单元22中的至少一个可以具有图4的结构。如图4所示，传感器单元可以包括第一接口1、第二接口2、第三接口3和逻辑模块4。第一接口1用于与对应的传感器通信，第二接口2用于与处理器211通信，第三接口3是可选的，其用于与主控单元300通信。例如，图3的指纹单元222可以包括用于与指纹传感器130通信的第一接口1、用于与处理器211通信的第二接口2以及指纹逻辑模块4，指纹逻辑模块4可以经由第一接口1向指纹传感器130施加驱动信号并从指纹传感器130获得感应信号，对接收到的感应信号进行放大和数模转换，以产生感应数据，并经由第二接口2将感应数据提供给处理器211。可选地，指纹单元222还可以包括用于与主控单元300通信的第三接口3，处理器211可以控制指纹单元222通过第三接口3将感应数据提供给主控单元300。在一些实施例中，在传感器单元22同时具有第二接口2和第三接口3的情况下，可以设置两种工作模式，在第一工作模式下传感器单元22采集的感应数据提供处理器211，主控单元300经由处理器211的协助来获得感应数据或其处理后的数据；在第二工作模式下主控单元300经由第三接口3直接从控制传感器单元22获得感应数据，从而增强灵活性，提高处理效率。

另外在一些实施例中，传感器单元22还可以根据需要采用其他结构，例如对于诸如摄像机之类的图像传感器150来说，其能够提供可以由处理器211和主控单元300处理的图像数据，图像单元224可以包括用于与处理器211连接的图像数据接口，以实现图像传感器150与处理器211之间的通信。在一些实施例中，图像单元244可以包括两个图像数据接口，其中一个用于与处理器211连接，另一个用于与主控单元300连接，在这种情况下，类似于上述方式，主控单元300既可以经由处理器211的协助来获得图像数据，也可以直接从图像传感器150获得数据。

本发明实施例的集成控制装置在内部整合了显示单元、分别针对多种传感器的多个传感器单元以及安全模组202，能够作为单个芯片安装在具备显示装置的电子设备中，兼具显示驱动、传感器中继管理以及传感器数据保护的功能。一方面在确保系统低功耗的同时，能够实现硬件级别的数据保护，提高了安全性；另一方面简化了系统设计并且还减轻了主控单元的工作负担。

图5示出根据本发明第三实施例的集成控制装置的示意性框图。该集成控制装置适用于具有液晶显示屏的电子设备。

如图所示，集成控制芯片220包括处理器211、安全模组202、通信接口205、存储单元204、显示单元21和传感器单元22。

传感器单元22包括但不限于上述的触控单元221、指纹单元222、音频单元223以及图像单元224，分别与触控传感器120、指纹传感器130、音频传感器140和图像传感器150相连，用于在处理器211的控制下从相应的传感器采集感应数据并提供给处理器211。多个传感器单元22中的至少一个可以具有以上参考图4描述的结构。在一些实施例中，集成控制芯片220通过传感器单元22的硬件接口获得各个传感器的标识，例如可以认为来自触控单元221的感应数据是触控传感器120提供的，来自指纹单元222的感应数据是指纹传感器130提供的。在替代的实施例中，各个传感器120至150可以将标识和感应信号一起传送至集成控制芯片220，以便于集成控制芯片220辨别感应数据来自那个传感器。

安全模组202用于执行安全相关操作，例如数据加密、安全验证、安全存储等等。如图2所示，安全模组202可以包括处理器2021和存储器2022。处理器2021用于在处理器203的控制下根据至少部分感应数据进行安全验证和/或对至少部分感应数据进行加密。存储器2022可以存储感应数据、加密数据、用于安全验证的验证模板和验证结果、加密程序、安全验证程序等等当中的至少一种。在该实施例中，存储器2022验证模板可以来自主控单元300，也可以是在处理器211的控制下本地采集和数据处理获得的。在后者的情形下，不仅用户的敏感数据而且验证模板均在本地生成。操作系统仅仅从集成控制芯片220获得验证结果或者加密数据，而无法获取到敏感数据和验证模板二者，从而有利于提高安全性。

处理器211为冯诺伊曼或哈佛架构的risccpu，包括但不限于arm，mips，openrisc等，优选为arm；也可以是dsp等。该处理器211可以根据接收到的指令来管理所述多个传感器单元22进行感应数据的采集和传输。处理器211还可以针对触控检测或针对其余类型的传感器进行优化。可以在本地处理触控输入，以便判断是否需要唤醒操作系统处理用户请求。处理器200还可以控制安全模组202执行安全相关的操作，例如根据来自主控单元的指令将感应数据加密和/或基于感应数据进行安全验证。在一些实施例中，可以采用安全验证唤醒方式，在这种情况下处理器211可以在主控单元300处于休眠状态时控制安全模组202基于采集的感应数据进行安全验证，并在安全验证通过时唤醒主控单元300。处理器211可以将感应数据、加密数据、安全验证结果等等打包后提供给主控单元300。例如可以在数据内容之前附加开始位和类型标识，在数据内容之后附加结束位和校验位，主控单元300可以根据类型标识来识别数据内容属于哪一种类型，还可以识别感应数据来自哪一种传感器。

通信接口205可以支持多种通信协议和数字i/o，例如i2c协议和spi协议，并且提供多个数字i/o管脚。该用户接口205可以与主板上的主处理器彼此通信。

存储单元204可以包括数据ram241、程序ram242、引导rom243和闪存244。在闪存244中可以存储感应数据、唤醒程序、调度规则等等。例如，可以在集成控制芯片220的上电期间，引导rom243中的引导程序检测到闪存244，并且从闪存244中加载唤醒程序和/或调度程序来执行唤醒和/或传感器调度。处理器211在工作期间产生的数据可以存储在数据ram241中。

显示单元21包括显示控制器212、图形引擎213、时序控制器214、显示和图形接口215、栅极驱动模块216、源极驱动模块217、公共电压驱动模块218、背光控制模块219和伽马基准模块251。显示控制器212用于根据输入的显示数据产生图形数据。图形引擎213用于控制内存窗口、光标、指针和精灵图形，从而针对触控提供高性能的优化图形。显示和图形接口215提供多种工业标准的显示接口，用于接收显示数据，例如dsitcvr、dbii/f、dpii/f。背光控制模块219用于控制液晶屏的背光，实现低功耗管理，从而可以与现有的背光节能技术相结合。栅极驱动模块216、源极驱动模块217、公共电压驱动模块218分别用于产生栅极电压、灰阶电压和公共电压。时序控制器214用于控制栅极电极和灰阶电压的输出时刻，从而在一个图像帧周期中，以扫描的方式提供栅极电压g1至gm，在相应行的薄膜晶体管选通时，向各列的多个薄膜晶体管t提供与灰阶相对应的灰阶电压s1至sn，从而在像素电容上施加电压而改变液晶分子的取向，以实现与灰阶相对应的透光率。伽马基准模块251用于存储伽马校正曲线，以及向源极驱动模块217提供校正信号用于校正所述灰阶电压，以符合人眼对亮度变化的非线性要求。

本发明实施例的集成控制装置在内部整合了显示单元、触控单元、诸如指纹单元、音频单元、图像单元等针对能够设置在显示屏上的传感器的传感器单元、以及安全模组，能够作为单个芯片安装在具备触控和显示功能的电子设备中，兼具显示驱动、触控驱动、屏上传感器中继管理以及传感器数据保护的功能。在确保系统低功耗的同时，能够实现硬件级别的数据保护，提高了安全性。集成设计还简化了系统设计并且还减轻了主控单元的工作负担。然而，本发明不限于此。集成控制芯片220可以形成多个芯片，并且共同安装在显示屏端的电路板上。

在该实施例的集成控制装置中采用闪存来存储感应数据、唤醒程序等等。然而，本发明不限于此。在替代的实施例中，集成控制芯片可以采用任何类型的非易失性存储器，例如选自闪存、sram、dram、eeprom、eprom中的任一种。

在该实施例中，闪存集成于集成控制芯片中，以提高安全性。在替代的实施例中，闪存可以位于集成控制芯片的外部并且经由总线与集成控制芯片相连接，以降低系统成本。

图6示出根据本发明第四实施例的集成控制装置的示意性框图。该集成控制装置适用于具有amoled显示屏的电子设备。

如图所示，集成控制芯片230包括处理器211、安全模组202、通信接口205、存储单元204、显示单元21和传感器单元22。

传感器单元22包括但不限于上述的触控单元221、指纹单元222、音频单元223以及图像单元224，分别与触控传感器120、指纹传感器130、音频传感器140和图像传感器150相连，用于在处理器211的控制下从相应的传感器采集感应数据并提供给处理器211。多个传感器单元22中的至少一个可以具有以上参考图4描述的结构。在一些实施例中，集成控制芯片230通过传感器单元22的硬件接口获得各个传感器的标识，例如可以认为来自触控单元221的感应数据是触控传感器120提供的，来自指纹单元222的感应数据是指纹传感器130提供的。在替代的实施例中，各个传感器120至150可以将标识和感应信号一起传送至集成控制芯片230，以便于集成控制芯片230辨别感应数据来自那个传感器。

安全模组202用于执行安全相关操作，例如数据加密、安全验证、安全存储等等。如图2所示，安全模组202可以包括处理器2021和存储器2022。处理器2021用于在处理器203的控制下根据至少部分感应数据进行安全验证和/或对至少部分感应数据进行加密。存储器2022可以存储感应数据、加密数据、用于安全验证的验证模板和验证结果、加密程序、安全验证程序等等当中的至少一种。在该实施例中，存储器2022验证模板可以来自主控单元300，也可以是在处理器211的控制下本地采集和数据处理获得的。在后者的情形下，不仅用户的敏感数据而且验证模板均在本地生成。操作系统仅仅从集成控制芯片230获得验证结果或者加密数据，而无法获取到敏感数据和验证模板二者，从而有利于提高安全性。

处理器211为冯诺伊曼或哈佛架构的risccpu，包括但不限于arm，mips，openrisc等，优选为arm；也可以是dsp等。该处理器211可以根据接收到的指令来管理所述多个传感器单元22进行感应数据的采集和传输。处理器211还可以针对触控检测或针对其余类型的传感器进行优化。可以在本地处理触控输入，以便判断是否需要唤醒操作系统处理用户请求。处理器200还可以控制安全模组202执行安全相关的操作，例如根据来自主控单元的指令将感应数据加密和/或基于感应数据进行安全验证。在一些实施例中，可以采用安全验证唤醒方式，在这种情况下处理器211可以在主控单元300处于休眠状态时控制安全模组202基于采集的感应数据进行安全验证，并在安全验证通过时唤醒主控单元300。处理器211可以将感应数据、加密数据、安全验证结果等等打包后提供给主控单元300。例如可以在数据内容之前附加开始位和类型标识，在数据内容之后附加结束位和校验位，主控单元300可以根据类型标识来识别数据内容属于哪一种类型，还可以识别感应数据来自哪一种传感器。

通信接口205可以支持多种通信协议和数字i/o，例如i2c协议和spi协议，并且提供多个数字i/o管脚。该用户接口205可以与主板上的主处理器彼此通信。

存储单元204可以包括数据ram241、程序ram242、引导rom243和闪存244。在闪存244中可以存储感应数据、唤醒程序、调度规则等等。例如，可以在集成控制芯片230的上电期间，引导rom243中的引导程序检测到闪存244，并且从闪存244中加载唤醒程序和/或调度程序来执行唤醒和/或传感器调度。处理器211在工作期间产生的数据可以存储在数据ram241中。

显示单元21包括显示控制器212、图形引擎213、时序控制器214、显示和图形接口215、行驱动模块226、列驱动模块227和伽马基准模块251。显示控制器212用于根据输入的显示数据产生图形数据。图形引擎213用于控制内存窗口、光标、指针和精灵图形，从而针对触控提供高性能的优化图形。显示和图形接口215提供多种工业标准的显示接口，用于接收显示数据，例如dsitcvr、dbii/f、dpii/f。行驱动模块226和列驱动模块227分别用于产生栅极电压和灰阶电压。时序控制器214用于控制栅极电极和灰阶电压的输出时刻，从而在一个图像帧周期中，以扫描的方式提供栅极电压g1至gm，在相应行的薄膜晶体管选通时，向各列的多个薄膜晶体管t提供与灰阶相对应的灰阶电压s1至sn，从而在发光二极管上施加与灰阶电压相对应数值的电流而发光，以实现与灰阶相对应的发光亮度。伽马基准模块251用于存储伽马校正曲线，以及向列驱动模块227提供校正信号用于校正所述灰阶电压，以符合人眼对亮度变化的非线性要求。

本发明实施例的集成控制装置在内部整合了显示单元、触控单元、诸如指纹单元、音频单元、图像单元等针对能够设置在显示屏上的传感器的传感器单元、以及安全模组，能够作为单个芯片安装在具备触控和显示功能的电子设备中，兼具显示驱动、触控驱动、屏上传感器中继管理以及传感器数据保护的功能。在确保系统低功耗的同时，能够实现硬件级别的数据保护，提高了安全性。集成设计还简化了系统设计并且还减轻了主控单元的工作负担。然而，本发明不限于此。集成控制芯片230可以形成多个芯片，并且共同安装在显示屏端的电路板上。

在该实施例的集成控制装置中采用闪存来存储感应数据、唤醒程序等等。然而，本发明不限于此。在替代的实施例中，集成控制芯片230可以采用任何类型的非易失性存储器，例如选自闪存、sram、dram、eeprom、eprom中的任一种。

在该实施例中，闪存集成于集成控制芯片230中，以提高安全性。在替代的实施例中，闪存可以位于集成控制芯片230的外部并且经由总线与集成控制芯片相连接，以降低系统成本。

图7示出根据本发明实施例的显示系统中采用分时复用方式进行显示和触控的时序图。

在实际应用中，显示系统可以集成多种类型的传感器。集成控制芯片210中的处理器兼有显示驱动、传感器驱动和安全验证三种功能，从而提供了硬件级的安全验证机制。各种传感单元以较低的工作频率处于周期性轮询状态。

对于触控检测，当传感单元感测到有物体触摸时，转换为工作状态，采集触摸数据，此时显示数据与触摸数据采用分时复用的方式。

对于接触式生物特征识别，例如指纹识别，接触式生物特征识别需要触摸，因此，这种方式采集的生物特征数据与触摸数据类似，与显示数据采用分时复用的方式。

对于非接触式生物特征识别，可进行预设。对于需要人工监察的采集，可以采用串行数据帧，切换显示数据为当前采集数据，待当前所显示的采集数据终止后，再切换为原来待显示画面。而若该非接触式生物特征识别采集过程不需要人工监察(无监督)，则可以与显示数据采用分时复用的方式在后台处理。如采用图像传感器采集图像时，需要人工校对实时采集图像是否满足要求，则可以显示当前正在捕捉对象，此时显示数据为图像传感器当前采集数据。

以触控与显示需同步进行的情形为例进行说明。

在图像帧切换过程中的消隐期，显示单元对于触控单元的噪声影响较小。因而在器件实际工作时，显示和触控采用分时复用原理，显示数据处理可以与触控数据处理在时间上分开，以减少相互干扰。在图像帧扫描之中，划分出一些时隙，作为触控帧。

如图7所示，在一个图像帧期间，分别包括多个显示时间段tp和多个触控时间段tp。在不同的时间段中，交替进行显示数据与触控数据的处理。即显示与触控分时复用。因人眼对画面变换具有一定识别时间窗口，因而帧率与两种时间段的时间占比会有一定要求。采用这种驱动方式，可以有效降低液晶显示阵列的噪声电信号对触摸工作层的影响，还节省了屏蔽叠层，减小了触控显示屏的厚度。

以上分时复用功能，可以由软件程序进行操作，也可以结合mux多工复用选择单元进行切换。

应当说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

依照本发明的实施例如上文所述，这些实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施例。显然，根据以上描述，可作很多的修改和变化，包括但不限于对电路的局部构造的变更、对元器件的类型或型号的替换。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地利用本发明以及在本发明基础上的修改使用。本发明仅受权利要求书及其全部范围和等效物的限制。