基于超声多普勒效应的计算机手势识别算法研究文献综述

 2022-10-13 15:20:58

文献综述(或调研报告):

近年来,手势识别是一个较活跃的研究领域,基于手势识别的人机交互方法引起了人们越来越多的关注,这一人机交互技术也被广泛应用于各种移动设备中,像笔记本电脑、智能手机还有平板。基于所需设备,我们可以将手势识别主要分划为两类:(1) 无设备的手势识别; (2) 基于可穿戴传感器/设备的手势识别[1]

在无设备的手势识别类别中,又可以进行进一步的划分,包括基于计算机视觉类、基于环境传感器类、基于无线射频类以及声呐类。在基于计算机视觉的手势识别系统中,需要利用摄像头对手势进行动态捕捉,并拍摄成各种手势图像,利用计算机中的手势识别算法进行处理,之后进入人机交互运行界面。将已得到的手势信息反馈给计算机,要求其进行相应的操作,从而实现手势的检测和识别。基于摄像机的手势识别系统通常使用颜色/深度信息进行手部区域分割,基于可视化应用程序的系统使用混合相机技术来提取手势信息,比如PMD[2]。然而,基于计算机视觉的手势交互算法一般比较复杂,对光线更敏感,需要占用更多的资源,有较大局限性。一些基于环境传感器的手势识别系统已经出现,如Leap Motion探索反射红外信号的多个通道以识别手势以及Kinect使用深度传感器进行空中三维骨架跟踪[1]。随着无线网络技术的不断进步,无线网络的作用范围更广,无线网络技术得到了普及,基于无线射频的手势识别系统非常流行,因为它们成本低,侵入性小。WiVi使用ISAR技术跟踪射频束,使穿墙手势识别可以实现;Qifan Pu等人提出了基于无线电频率的WiSee[3],利用宽带OFDM传输中窄带的多普勒偏移最终可以识别9个不同的手势;Wiz可以检测到多个人的运动并识别手势的变化[4]。SonarGest是一款开创性的基于音频的手势识别系统,使用三个超声波接收器和一个发射器能够识别8个手势。所用到的技术是一个监督高斯混合模型,它可以捕捉手势反射的多普勒信号中特征向量的分布,但是,它需要收集训练数据和额外的硬件设备。SoundWave[5]是另一种利用多普勒效应的系统,它只使用移动设备内置的扬声器和麦克风,不需要训练,设计了一种基于阈值的动态峰值跟踪技术来有效捕捉多普勒频移,并能区分5种不同的手势。

基于可穿戴传感器/设备的系统利用各种传感器(即3轴加速度计、惯性传感器或其他智能设备)来感知手或手臂的运动。例如,一些研究人员可以通过佩戴形状磁铁来推断手的运动情况。Humantenna[1]要求用户佩戴小型无线数据采集单元(WDAU),使人体成为感知全身动作的天线。最近,Lu等人设计一种可穿戴设备,以获取加速度和表面肌电信号,并采用基于DTW的贝叶斯分类器来识别19个预先定义的手势。最近,一些研究人员采用微型雷达来实现一系列的手势识别应用。例如,李等人通过设计一个包含三个24GHz微型雷达的头戴式装置,提出了一种无接触式舌头手势识别系统“ Tongue-n-Cheek ”,通过采用类似的微型雷达阵列,Goel等人设计了一个面部手势识别系统,称为“ Tongue-in-Cheek”,可以区分8种面部表情[1]。但是所有这些手势识别系统要么要求用户佩戴设备/传感器(如磁环、智能支架和SEMG传感器),要么需要安装额外的硬件,如WDAU、微型雷达或电容板等,这在某些应用方面或许会不实用,比如用户忘记携带这些额外设备时就无法进行手势识别,此外额外的设备/传感器会增加额外的费用,因此成本较高。

多普勒效应可以成功帮助实现手势识别,但在手势轨迹跟踪方面多普勒效应却有很大的局限性,比如FingerIO[6]利用的是OFDM而LLAP[7]利用了声学相位延迟来跟踪手势轨迹。以超声波为载体的非接触式人机交互技术有其独特的优点:硬件支持通用,作用范围有限,本课题利用的超声多普勒效应除了应用于手势识别之外,也在语音识别、人与人之间的互动以及鉴别不专心驾驶以减轻驾驶风险方面起到了很重要的作用。SilentTalk[8]利用超声多普勒效应成功地实现了语音识别功能,不同的嘴唇动作有不同多普勒频移特征,依据这些特征我们可以判别12种嘴唇动作,以此为基础来识别不同的音节。DopEnc[9]是一个利用超声多普勒效应来方便人际互动的一个例子,通过分析多普勒频移特征得到两个用户相对运动的速度,从而判别两者是否存在进行互动的可能性,在此基础上再进行之后的语音识别等其他环节,来达到判断对方是否为用户感兴趣的互动对象的目的。在减轻驾驶风险方面,也是利用了在不同动态姿势情况下多普勒频移特征的不同,来识别驾驶员的状态是否为不专心驾驶姿势,之后再利用机器学习的方法实现早识别即ER[10]系统,早识别早警告,进而起到提醒驾驶员专心驾驶的作用。

目前首次成功利用超声多普勒效应来实现手势识别的一个案例是SoundWave[5],它设计了一个在单个设备上检测手势的系统,并仅在笔记本电脑上对其进行评估。由于多普勒效应是通过将用户的手臂在笔记本周围发生移动而产生的,但在移动电话上实现多普勒效应的可行性尚不清楚。SoundWave通过检测多普勒频移带宽特征可以识别滚动、单击、双击等多个手势,同时可以衡量速度大小、方向、检测物大小以及持续时间这些特性。除了SoundWave,一种多模式手势识别方法AudioGest[1]也被提出,核心也是多普勒频移,不同的是它有三个关键技术,即FFT归一化、高斯平滑以及平方连续帧减法,可以更精准地确定频移区域并获知更多有关手势运动的可测量属性,相比于SoundWave来说更为精确全面。

参考文献:

[1] Ruan W, Sheng Q, Xu P, et al. Making Sense of Doppler Effect for Multi-Modal Hand Motion Detection [J]. IEEE Transactions on Mobile Computing, 2018, 17 (9): 2087-2100.

剩余内容已隐藏,您需要先支付 10元 才能查看该篇文章全部内容!立即支付

以上是毕业论文文献综述,课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。