LabVIEW通过嘴唇图像识别为残疾人士开发文本输入系统

近年来，计算机已经成为现代人日常生活中的一种信息器具。人们可以使用计算机来处理复杂的文件，获取新信息并在线购物等。但是，上面讲的使用电脑的所有好处对普通人来说都很方便，残疾人总是无法享受电脑的现代生活。

许多残疾人辅助设备都是逐案设计的，如眼控鼠标、头控鼠标、使用单按钮的摩尔斯电码文本输入系统等。虽然这些辅助设备可以为使用计算机提供禁用的通信接口，但有一个共同的缺陷，即用户必须佩戴某种辅助设备的附件。该缺陷可能会引起残疾人的不适，他们通常长期继续使用这些辅助设备。

为了解决上述问题，设计了一种利用数字图像处理技术开发的辅助器件系统。使用辅助设备系统时，无需佩戴任何类型的附件。实现一个面部跟踪系统，根据嘴唇在脸上的相对位置执行嘴唇图像提取。嘴张或闭嘴的状态可以通过图像上上唇和下唇之间的相应垂直距离来识别。一旦检测到口开或闭嘴的状态，分别表示逻辑“1”或“0”，数据将通过并行端口接口传输到摩尔斯电码文本输入系统。应用图像识别技术检测嘴巴张开或闭嘴的状态，以取代我们系统中的机械按钮。此外，文本输入系统包括PS2键盘接口和RS232鼠标接口来连接PC。因此，可以达到使用嘴唇图像识别来控制计算机的目的。对于残疾人来说，使用图像识别系统来控制计算机会更加方便和舒适。

人脸跟踪是预处理捕获图像的一个非常重要的步骤。准确提取嘴唇图像对于进一步的嘴唇识别是必要的。必须找到一种实时面部跟踪算法，该算法始终可以在捕获的图像序列中定位面部。

​

人脸跟踪算法包括两个步骤：人脸检测和人脸验证。前一个过程将 RGB 类型的图像传输到 HSL 类型的图像。 此过程还减少了光强度变化的影响。接下来，使用HSL型图像的色相和饱和度信息进行阈值运算，以获得图像序列中的肤色范围。最后，使用了一些形态学操作，即侵蚀、扩张和凸壳来获得最大的肤色范围。面部跟踪的后一个过程包括确定执行面部验证的最大肤色范围。在此阶段，在最大肤色范围内与预定义的嘴唇图像图案进行了模式匹配操作。如果嘴唇图像区域在最大肤色范围内找到，则意味着此最大肤色范围是面部。相反，则意味着范围不是人脸，并且将放弃面部跟踪。

根据嘴唇在一系列图像中的相对位置来执行嘴唇图像提取，必须提前确定面部区域。面部和CCD相机之间的距离是可变的，因此应更改图像中皮肤颜色的最大范围。为了克服这个问题，按比例定义嘴唇范围的相对位置，以肤色的最大面积的宽度来分配嘴唇面积。

在嘴唇范围的提取和分配过程后获得完整的嘴唇图像。定义并提取张开或闭上嘴时上唇和下唇之间区域的轮廓。通过测量上唇和下唇之间的深黑色范围的方法，以识别张嘴或闭嘴的状态。

首先，对嘴唇图像中的肤色范围和深黑色范围进行ROB多阈值运算，然后可以得到两个二进制图像，即二值化。接下来，对显示肤色区域的二进制图像执行反向操作。最后，对显示肤色区域的二值图像和显示深黑色区域的二值图像执行逻辑AND运算，然后可以明显地获得上唇和下唇之间的深黑色区域。

当获得上唇和下唇之间深黑色区域的轮廓时，可以识别嘴巴张开或闭嘴的状态。定义三条直线来观察灰度的变化。然后，记录两个端点之间的相对距离，代表与深黑色区域轮廓相交的每条直线的边缘点。接下来，设置三个距离阈值。当每条直线上两个端点之间的相对距离分别大于相应的预定义阈值时，嘴巴将被识别为嘴张开状态。另一方面，嘴巴将被承认为嘴闭的状态。

一旦获得了张嘴或闭嘴的信息，可以将这些信息传输到摩尔斯电码文本输入系统，以在PC上执行文本输入的功能。