运用高效能对象追踪技术的压电式多点触控

摘要:矽创所推出的压电式多点触控技术，除兼顾了各种触控技术的优点，并弥补了电阻式或投射电容式触控技术许多先天无法避免的缺点之外，在多点触控的动态分析与控制技术上，运用了先进的算法，让触控屏能在不同的操作条件或环境下发挥多点触控的最大效能。
　　关键词:压电式多点触控;压力感测;物件追踪
　　中图分类号:TN949.199 文献标识码:B
　　Voltage-driven Multi-touch Technology of High Performance
　　Object Tracking
　　LIN Yan-zhong， QIAN Jin-wei
　　(Sitronix Technology Co.，Ltd.， Taiwan， China)
　　Abstract:The voltage-driven multi-touch technology developed by Sitronix integrates the advantages of various touch-panel technology and can compensate the inherent disadvantages of not only the resistive type but also the capacitive type touch panel technology. Furthermore， various kind of object tracking technologies are employed for the dynamic analysis and control of the multi-touch function. The voltage-driven multi-touch technology can suit different kind of environments and concurrently achieve the high performance.
　　Keywords:voltage-driven multi-touch; pressure detection; object tracking
　　
　　引言
　　
　　作为一种新兴的人机互动方式，multi-touch触控技术必然要保持一种可持续发展的势态，例如没有任何限制的触控点数，可以让更多的手指一同接触面板，来创造出各式不同的应用，或者是考虑触控给用户带来的真实体验，就像我们知道&“触摸的感觉组成，它有很大部分是物理移动。如果我们要把这种触摸的感觉推向极致的话，物理移动是一定需要的&”。根据这样的简单逻辑，我们会希望在按一个东西的时候，它真的可以侦测按下去的力道轻重。
　　目前，电阻式与电容式触控是比较主流的两类触控技术。电阻式触控设计简单，成本最低，是目前最主要的触控技术。但电阻式触控较受制于其物理局限性，如透光率较低、高线数的大侦测面积造成处理器负担、其应用特性使之易老化从而影响使用寿命等问题。因此，在较为高端的应用中，电容式触控技术成为首选。电容式触控支持多点触控功能，拥有更高的透光率、更低的整体功耗，其接触面硬度高，无需按压，使用寿命较长，所以Apple(苹果公司)在推出iPhone时选择的是电容式触控。
　　不过，电容式触控也有自身的问题需要克服，如在一体化模块中，液晶屏和铟锡氧化物范本(ITO)做在同一个真空堆栈中，为了达到触点侦测功效，ITO模板需不断地扫描像素，这会持续散发干扰信号，影响整个模块的操作，因此在电容式触控的应用上，要真正做到没有任何触控限制的true multi-touch，还有许多技术待克服。另外，为了不让ITO的表面电流被隔绝，硬化镀层一般非常薄，若施加在触摸屏上的外力过大时，可能伤及ITO，从而降低使用寿命。此外，目前电容式触控面板的成本还比较高，在大尺寸应用方面比较困难。
　　矽创所开发的压电式多点触控技术，可以说是介于电阻式与电容式之间，其感应原理与iPhone类似，最主要的不同之处在于其信号为电压源而非电流源，如图1所示。当上板与下板接触导通后形成回路造成电压值改变，再通过如同LCD驱动IC的扫描方式由Row(行)发送信号，再由Column(列)接收回来判定触摸点位置，由于其扫描频率最高可达200Hz，因此可以实时快速地获取触点信息，再通过专用的MCU、DSP来准确计算出多点坐标，给出信号。压电式触控技术在没有触摸动作时，触摸屏不会耗电，因此功耗远低于传统的电阻式多点触控技术。
　　
　　1 多点触控的核心&—&—对象追踪
　　
　　在压电式多点触控的运算流程中，通过扫描系统(scanning system)侦测触控点信息，通过滤波器先将原始数据中的背景噪声消除，界定触控的区域范围并得到有效触控面积后，可以进一步计算出重心位置，经过DSP作运算处理判断是否合并成为坐标。另一个特性是侦测压力的变化，通过接触面积的不同而改变导通的电流量，IC内部电路进而根据该电流变化量转化为压力值变化，这可应用在小画家的应用软件上，根据输入介质的接触面积不同使笔触有粗细变化。这些处理后的坐标以及压力信息再经由MCU将多点移动动作转换成手势指令，将此指令传给主系统的CPU就可以控制面板显示内容以及执行一些应用程序了，但其中如何将触碰在屏幕上的每一点的动作完整的解析出来，是整个多点触控系统中最重要的核心，一旦处理的过程出现任何失误，对使用者而言就相当于手势辨识失败，或是多个触控点移动的轨迹出现混淆或错乱。
　　 在这篇文章中我们将针对压电式多点触控技术中的核心&—&—&“对象追踪&”(Object Tracking)这一部分做简单的介绍。对象追踪是通过比对连续移动对象的相似度来完成的，其中的议题涵盖如何建立对象的特征、相似程度的判别以及如何在整个对象数据库中快速寻找目标物，让系统能利用在高速扫描运作下所产生的大量信息来完成多点触控的功能。
矽创电子所开发的压电式触控技术中所使用的对象追踪可细分为三个处理程序:
　　1. 区域合并(Region-Based combination)
　　2. 主动式轮廓追踪(Active Contour-Based Tracking)
　　3. 特征追踪(Feature-Based Tracking)
　　1.1 区域合并
　　因为压电式触控技术以矩阵式的侦测器来感应手指或物体触碰的动作，一般而言，当触碰到屏幕的物体较大或是手指按压的力量较大时，会让侦测器所感应到的面积范围较大，但某些时候因为手指或物体的移动速度较快，或是触碰时的压力不够大，造成同一个触碰范围内，扫描系统侦测到的对象由好几个组成，而不是单一的触控对象，因此在区域式追踪的算法中，我们必须判断在同一个扫描帧(frame)中，哪些对象有可能是同一个手指或物体所造成的，就必须把这些对象合并在一起，否则若破碎的情况没有办法有效的合并，那么将来这些对象在移动的过程中将更加难以追踪辨识。
1.2 主动式轮廓追踪
　　这类方法是将扫描系统侦测到的触碰信号转换成轮廓线(contour)来表示，并赋予轮廓线影像空间的特性，比如面积、形状等，再利用每个frame新的信息作轮廓的更新，用以追踪对象。在多点触碰的过程中，每一个手指或触碰的物体在经过上一个步骤&“区域合并&”之后所产生的轮廓都不尽相同，而在这些对象移动的过程中，我们就可以根据每一个对象在轮廓上的特性来增加追踪的正确性，而且由于轮廓线是封闭曲线，本质上也容易解决对象交错的问题。
1.3 特征追踪
　　以对象特征为基础的追踪方法，是萃取扫描系统所侦测到的原始数据中形成目标物的各种成分，再将这些成分集合成较高阶的特征信息，藉由比对相邻frame间的特征信息来追踪目标物。根据不同的触碰特征，可分为:电压信号差异、触碰面积差异(即上一节的轮廓追踪方法)、移动速度差异。以电压信号差异为例，在多点触碰的情况中，有可能会有一些触碰点具有相同的侦测面积，倘若这些面积相差不多的触碰点在移动过程中有靠近、甚至交错的情况，单纯利用面积信息作为对象追踪的辨别可能会造成误判，但压电式触控技术的扫描原理就是利用扫描系统将手指的触碰转换为电压信号，每一个手指在按压屏幕时的力量大小有所不同，则侦测出来的电压也会有不同的变化，因此每一个对象除了有面积信息可以参考外，还会有平均电压值作为其中一个特征。假设在对象追踪的过程中，当我们没办法由面积的差异来分辨每一个对象时，就会进一步使用每一个对象的平均电压特性做配对的计算。
另外，除了面积以及电压信号的差异之外，另一个非常有利于对象追踪计算的特征就是&“运动状态&”，因为每一个触碰点在手指按压之后，除了压力会造成触碰面积和感测电压的大小差异之外，只要手指在屏幕上有移动，就会多出一项&“速度&”的信息来，这时候每一个对象就具备&“电压&”、&“面积&”以及&“速度&”的特性存在，其中速度这项信息最大的功能是加强多个对象在移动过程中的追踪正确性，一般来说，多个对象在移动中若没有产生轨迹交错，每个对象在追踪的过程中就不易产生混淆的情况，但是对象与对象的移动轨迹有交错时，就有可能造成混淆的情况，因为追踪的概念是比对每一个相邻frame所得到的对象数据库的所有特征的相似度，将两个相邻frame中相似度最高的对象视为同一个对象，倘若不去计算速度特性的话，有可能发生如图7所示的状况。当深色的对象和浅色的对象在移动过程中发生交错，而且刚好N+1的frame时，浅色对象的位置刚好离第N个frame时的深色对象较近，同样深色物件在N+1的frame也距离上一个frame的浅色对象较近，那此时配对的方式如果都是在最短距离为优先的情况下，就会产生追踪错误的情况了。
&“速度&”这个特征里包含两个重要信息，一个是对象移动的方向，另一个则是移动的快慢，也就是说，不同的对象，在相邻的两个frame中，移动的距离和方向不太可能会是相同的。因此，我们可以利用速度特征来预测出每一个对象在下一个即将扫描的frame中可能出现的位置，估计出位置之后，当扫描系统扫瞄完成之后，数据库中的对象在配对时，就是跟这个预测的位置做比对，并不是上一个frame中的位置，如此一来，当多个对象发生交错时，由于速度特征的不同(因为产生交错就代表移动方向的不同)，就容易正确追踪出每一个对象的轨迹。
　　
　　2 物件追踪的算法&—&—bipartite matching
　　
　　在前一段我们说明了整个追踪机制中，有哪些重要的对象特征我们会采用，接下来我们将介绍每一个特征在比对时所使用的算法。因为压电式触控技术是完全支持multi-touch的接口，也就是说每个frame会有不定个数的对象，可能只有1个，也可能有2个，甚至有10个。我们必须持续追踪这些对象的变化，包括每个点什么时候出现、中间移动的轨迹以及什么时候消失，如果我们的追踪机制只面对一个点，那么问题很简单。在图8中，圆形为前一个frame对象的位置，方形为当前这个frame的位置，在单一点的情况下，可以直接断定圆形和方形是同一个对象，并且移动路径是A。
　　但如果是多点，情况就没这么单纯了。图9展示了两个点的情况，我们如何判断两个对象是走了路径A还是路径B呢?也就是说这两个方形，到底谁是对象1?谁是物件2?
其实上图还有更复杂的可能，比如对象2已经消失，某个方形是新出现的对象3。在每个对象都相同的情况下，其实我们是没办法区别这种奇怪的可能性的，为了简化，我们暂时先忽略这种可能。在这个问题上，我们用一个简单的策略来解决:在两个frame间，相对位移越短就越可能是相同的一个点，也就是说在图9中，上方的方形应该是点1，下方的是点2，因为这样两个点移动的距离都比较短。
　这个问题如果要求全域的最佳解(让每个点移动的距离和最短)，可以转化成图论中的bipartite matching问题来解。详细的配对方法如下:
　　1. 假设前一个frame的所有对象集合为A，目前frame的则为B;
　　2. 对于A中的所有点a，计算出到B中所有点b的edge长度，并放进一个数组E中;
　　3. 把数组E中距离太远的edge剔除掉;
　　4. 将E按edge长度排序，从小到大;
　　5. 从E的开头开始，每取出一条edge前先看看edge的两端点是否已经配对成功过，配对时同时会判断对象的各种特征，除了距离要最短之外，其余的特征也必须符合才能完成一组配对;
　　6. 重复上一步直到取出所有edge为止。
　　运行完上面的算法，我们就可以标记出两个frame中所有对应的对象，并且可以产生每一个对象所对应的移动轨迹。而A和B中没被配对的对象就代表这些对象只存在其中一个frame，不是刚消失就是刚出现，接下来我们就可以对这些对象的状态做进一步的处理。
　3 结 论
　　
　　在多点触控中如何有效地执行对象追踪技术是决定多点触控效能的关键，当扫描系统建立对象的信息之后，必须配合一个有效而稳健的搜寻与配对策略，在连续扫描的frame中快速而精准地找出对象的位置，或是建立对象所需要搜集的信息。在压电式触控技术中，我们使用了区域合并方法来消除破碎或分散的对象，以提高整个系统的处理速度，此外依据主动式轮廓追踪技术来掌控触控屏上每个点的移动状况，而且进一步利用特征追踪法对对象位置变化作预测，以缩小搜寻比对的范围，主要步骤包括预测下个时间点的对象状态与依据变化量来更新系统内部参数，真正达到一个具有动态调整的精密追踪技术。
　　
　　作者简介:林彦仲(1977-)，男，台湾人，现任矽创电子触控IC产品企划副经理，博士，台湾交通大学光电研究所，现专任多点触控应用市场规划与推广，从事液晶显示相关产品研究约五年。E-mail:vance_lin@sitronix.com.tw。
　　钱金维(1966-)，男，台湾人，现任矽创电子液晶驱动事业群副总经理，硕士，台湾大学电机研究所，北京大学光华管理学院EMBA，经营液晶驱动领域相关产品超过10年，带领矽创电子研发团队从事新技术研发，从平面显示到触控面板技术，不断致力于创新，以期在市场上保持技术领先。E-mail:We ber_chien@sitronix.com.tw。