摘要：本文深入研究了肤色分割算法和手势检测算法，并提出了一种基于OPENCV视觉库的静态手势识别算法。从手型轮廓中提取和指尖特征提取之后通过凹凸包的计算得到指尖数,利用深度和夹角来识别出手型。实验结果表明，本系统具有较好的实时性和可靠性,识别率可以达到95%以上。
关键词：OPENCV；手势识别；轮廓提取；深度算法；夹角算法
引言：
在现有的前端输入方式中，手势是一种自然、直观、易于学习的人机交互手段。其中基于视觉的手势识别技术以自然而又直观的人手作为输入方式，一直是人机交互中的重要研究课题,其具有广阔的实际应用前景。在手势识别人机交互系统中，根据输入方式的不同，可以将手势识别系统分为两类：一是利用数据手套获取相关手势信息；二是利用计算机视觉捕获和处理图像流信息。
1.系统框架
基于视觉的手势识别系统主要由三个部分组成：输入系统、处理系统和输出系统。输入系统是人手、外界环境以及摄像头组成的一个系统，其作用是通过摄像头将接受到的手势信息传递给处理系统。处理系统主要是图像处理和算法的设计，通过VS调试器来进行处理，从而达到识别手势的目的。输出系统是经过处理系统之后，用来检测该处理系统是否达成预期效果。
2.算法研究
利用前端采集设备获得手势图像，经肤色检测、轮廓提取后，再利用深度及夹角的判定算法实现手势识别，流程如图1所示。通过轮廓与（凹）凸包的深度与夹角剔除杂波，取深度在50-800之间的区域，夹角为锐角来进行条件判断，然后再通过（凹）凸包的数量来确定手势的数字，从而达到识别的目的。在做手势时，手指经常远离手掌中心，且指尖离得最远。根据这一情况建立数学模型，如图2所示。
图1 算法流程图
图2 凸包数学模型
因为凸包包含指尖的点，根据Grahamscan 凸包算法找到手型外部的凸包。在所有点中选取y坐标最小的一点H，当作基点。如果存在多个点的y坐标都为最小值，则选取x坐标最小的一点。坐标相同的点应排除。然后按照其他各点p和基点构成的向量＜H，p＞与x轴的夹角进行排序，夹角由大至小进行顺时针扫描，反之则进行逆时针扫描。线段＜H，K＞ 一定在凸包上，接着加入C。假设线段＜K，C＞也在凸包上，就H，K，C这3点而言，其凸包就是由此3点所组成。但加入D后，线段＜K，D＞才会在凸包上，所以将线段＜K，C＞排除，C点不可能是凸包。即当加入一点时，必须考虑到前面的线段是否会出现在凸包上。从基点开始，凸包上每条相临的线段的旋转方向应该一致，并与扫描的方向相反。如果发现新加的点使得新线段与上线段的旋转方向发生变化，则可判定上一点必然不在凸包上。加入K点时，由于线段＜H，K＞相对于＜H，C＞为顺时针旋转，所以C点不在凸包上，应该删除，保留K点。接着加入D点，由于线段＜K，D＞相对＜H，K＞为逆时针旋转，故D点保留。按照上述步骤进行扫描，直到点集中所有的点都遍历完成，即得到凸包。（凹包过程类似）具体如下：
(1)初始化序列既为凸（凹）包上的点又是轮廓上的点的集合。
(2)遍历序列上的每个点p，取其左右m和n点，分别计算它们到p的矢量值pm和pn。
(3)计算pm和pn的夹角。如果αi＜45°，i=1，…，N，则确定为指尖，否则返回步骤(2)重新检查下一个候选点。
3.实验结果与分析
为了测试本系统的实时性和准确率，邀请10个实验者在同一背景、同一距离及不同光照下做出同一组手势（“1”到“5”），每个实验者操作8次，从而采集到400个手势样本，然后根据各手势识别情况进行统计和计算。结果如表1和表2所示。
表1 光照强的条件下手势识别正确率
数字手势
1
2
3
4
5
识别率/%
100
96
94
95
100
表2 光照弱的条件下手势识别正确率
数字手势
1
2
3
4
5
识别率/%
100
98
93
96
100
经过测试，在相对复杂背景下，该系统能够比较准确的识别1-5这几种手势，其识别手势平均响应时间不大于0.5秒，而且识别的准确率在95%左右，总体来看，达到了较好识别效果。
4.结论
从结果来看，本文所使用的算法在实时性和准确率上都有较好的体现。经过在相对复杂背景下的反复测试，确定系统能够按照预期功能正常地运行，在终端获取到最终数据显示正常，并且系统运行较稳定。
参考文献
[1]Binjue Zheng,Liaoying Zhao,Yixuan Wang.Fingertip Detection and Gesture Recognition Based on KinectDepth Data[J].Transactions on Computer Science and Technology,2014
[2]MEENAKSHI P.Hand Gesture Recognition Based on Shape Parameter[C].Computer Communication and Applications,2012
[3]祝远新,徐光祐,黄浴.基于表现得动态孤立手势识别[J].软件学报,2010
[4]王凯,于鸿洋,张萍.基于Adaboost算法和光流匹配的实时手势识别[J].微电子学和计算机,2012
[5]腾达,杨寿保,刘岩.基于“大小手”的徒手手势实时识别[J].计算机应用,2006
[6]吴江琴,高文,陈熙霖.基于数据手套的汉语手指字母的识别[J].模式识别与人工智能,2000.
论文作者:李玮 冯悦
论文发表刊物:《知识-力量》2019年11月53期
论文发表时间:2019/12/6
标签：手势论文; 线段论文; 算法论文; 夹角论文; 系统论文; 包上论文; 指尖论文; 《知识-力量》2019年11月53期论文;