文章快速检索     高级检索
  重庆大学学报  2018, Vol. 41 Issue (11): 84-91  DOI: 10.11835/j.issn.1000-582X.2018.11.010 RIS(文献管理工具)
0

引用本文 

何书芹, 梁西银, 颜昌林, 郭贝, 刘昊. 基于多尺度熵和动态时间规整的步态身份识别[J]. 重庆大学学报, 2018, 41(11): 84-91. DOI: 10.11835/j.issn.1000-582X.2018.11.010.
HE Shuqin, LIANG Xiyin, YAN Changlin, GUO Bei, LIU Hao. New method for gait recognition on combinability of multi-scale entropy and dynamic time warping algorithm[J]. Journal of Chongqing University, 2018, 41(11): 84-91. DOI: 10.11835/j.issn.1000-582X.2018.11.010.

基金项目

甘肃省科技支撑计划项目(1304GKCA024);甘肃省科技重大专项计划资助项目(1602GKDA015)

通信作者

梁西银(联系人), 男, 西北师范大学副教授, 硕士生导师, (Tel)18894016151;(E-mail)1620612172@qq.com

作者简介

何书芹(1990-), 女, 西北师范大学硕士研究生, 主要从事信号处理方向研究。

文章历史

收稿日期: 2018-05-20
基于多尺度熵和动态时间规整的步态身份识别
何书芹1, 梁西银1, 颜昌林2, 郭贝1, 刘昊1     
1. 西北师范大学 物理与电子工程学院, 兰州 730070;
2. 兰州真空设备有限责任公司华宇分公司, 兰州 730000
摘要: 针对现有人体步态身份识别算法单一、准确率较低的问题,提出了一种基于多尺度熵和动态时间规整(DTW,dynamic time warping)的人体步态身份识别方法。采用自制的APP软件在较低采样率下采集人体步行加速度数据,实验中共采集50名志愿者的正常行走加速度数据,使用多尺度熵算法进行数据处理,得到在各个尺度下的熵值,最后采用DTW算法对多尺度熵值进行特征匹配,得到的相对错误率(EER,equal error rate)为13.7%,仿真结果表明基于多尺度熵和DTW算法相结合的方法较好提高了身份识别的准确率,为人体步态身份识别提供了一个新的思路。
关键词: 步态身份识别    生物特征身份识别    多尺度熵算法    动态时间规整    
New method for gait recognition on combinability of multi-scale entropy and dynamic time warping algorithm
HE Shuqin1 , LIANG Xiyin1 , YAN Changlin2 , GUO Bei1 , LIU Hao1     
1. College of physics Electronic Engineering, Northwest Normal University, Lanzhou 730070, P. R. China;
2. Lanzhou Vacuum Equipment Co., Ltd. Huayu Branch, Lanzhou 730000, P. R. China
Supported by the Science and Technology Program of Gansu Prvrince (1304GKCA024) and Major Science and Technology Special Project of Gansu Prvrince (1602GKDA015)
Abstract: In order to solve the problem of low accuracy of existing gait recognition, a method of gait recognition based on multi-scale entropy and DTW (dynamic time warping) algorithm is proposed. The new method for gait recognition adopts the camera and the high sampling rate sensor, and the acceleration sensor of the mobile phone is adopted to collect the data. The sensor works at the low sampling rate, and the normal walking acceleration data of 50 volunteers are collected and processed by multi-scale entropy, from which the entropy values at various scales are obtained. Finally, the DTW algorithm is used to match the multi-scale entropy. The simulation results show that the method based on the combination of multi-scale entropy and DTW improves the accuracy of identity recognition, and the EER(Equal Error Rate) is 13.7%, which provides a new idea for gait recognition.
Keywords: gait recognition    biometric identity identification    multi-scale entropy    dynamic time warping    

随着科技的进步,智能手机得到极大的发展,其功能也进一步地完善和提升,应用范围从最初的通话交流扩展到如今的网上购物、资料传递、在线支付等,俨然成为人们日常生活中不可或缺的部分[1]。然而手机丢失后的信息泄露及支付账户盗刷带来的财产损失成为长期困扰手机用户的一大问题。因此,手机的安全问题受到了众多学者的关注[2]。常用的基于图形、PIN码等身份识别的方法需要用户熟记密码,且容易遭到破解,具有一定的局限性[3]。诸如指纹、虹膜等生物特征身份识别技术需要额外的硬件支持,带来了产品成本的增加。且上述方法都需要通过一种交互式操作(解锁)来获取手机的使用权限,并无法识别解锁后的手机是否已经更换了合法用户。不能在使用过程中识别用户身份是现有主流身份识别技术的一个缺憾,而基于步态的身份识别是近年来兴起的一项新型生物识别技术,可解决一般生物识别技术易于遭受破解和无法持续识别的问题。同时,基于手机计步的各种软硬件资源已经成为手机产品的标配,也成为越来越普遍的后台活跃程序。所以,基于人体步态识别的算法和技术在穿戴设备领域、“后PC时代”,以及人工智能的浪潮下,具有广阔的发展前景。

目前,基于手机加速度传感器的步态信息获取技术已经在计步[4]、步行与跑步识别[5]等方面取得了较为成熟的应用。为进一步研究基于手机加速度信号的人体步态身份识别提供了基础。国外研究者Nickel c等[6]把手机固定在实验者臀部的右边,用DTW对48名实验者步态特征进行匹配,得到EER为20%的效果;Thang等[7]将手机放置在裤子口袋里,在时域中提取步态模板,采用DTW进行特征匹配,得到的准确率为79.1%。虽然步态识别算法正在日趋成熟,但目前基于步态身份的识别率仍然较低。为了实现步态身份识别在移动终端的应用,必须寻求一种新的算法,在降低采样率的同时,提高步态身份识别准确率。

拟采用深度学习算法解决前述问题时发现,具有明显轻量计算特征的普适计算终端——手机,是很难胜任诸如RNN、CNN、DBN、随机森林等深度学习算法,也无法接受这类高耗能、高耗内存的重量计算在后台展开。而用于分析人体生理时间序列的复杂性多尺度熵算法却是一个较好的选择。Costa等[8]提出多尺度熵算法,将其应用于心率变异性的研究,试图在多个尺度上度量人体心电图的复杂性;王俊等[9]将其应用于心电信号,通过比较心电信号的复杂性,发现能有效地区分出健康人和患者(冠心病和心梗病人)。Costa等[10]采用多尺度熵对人体正常步行、快走、慢走进行研究,发现正常行走步态的复杂性最高。刘晓婷[11]等人利用加速度传感器采集人体日常步行三维加速度数据,采用小波变换和多尺度熵算法相结合对加速度数据进行分析,得到多尺度熵曲线,发现有很好的重复性,为进一步研究人体步行加速度信息提供了一种有效的分析方法。目前,国内外相关领域还没有见到多尺度熵在步态时间序列上的应用研究报道。通过大量的文献阅读和实验验证,笔者提出一种结合DTW算法的新型多尺度熵步态识别方法。首先,利用手机内置有三轴加速度传感器和软件易于开发的特性,开发了一款基于手机的人体步态三维加速度采集APP软件;其次,根据重力方向步态加速度信号相对稳定的特点,采用多尺度熵算法处理人体重力方向步态加速度信号,得到1~20尺度的熵值;再次,通过相似性和差异性仿真实验对比得出:同一个人的重力方向步态加速度信号的多尺度熵比较相似,不同人的重力方向步态加速度信号多尺度熵差别比较大,因此就将人体重力方向步态加速度信号在1~20尺度的熵值作为人体的步态特征;最后,DTW计算失真距离。在实验的小样本范围内能够实现类内最大失真距离小于类间最小失真距离,并通过阈值判断实现步态身份识别。与常用步态识别方法相比,该方法兼顾采样率、计算复杂度和识别率,符合方便、迅速、可靠等未来移动终端信息安全保护的要求。

1 数据采集与算法描述 1.1 数据采集

实验采用智能手机华为U9200E,并自制手机APP软件进行数据采集,采样频率为25 Hz。实验人数为50人,年龄18~30岁,身高155~185 cm,包括30名男性,20名女性。数据采集时,将手机固定在实验者的腰带右侧位置,佩戴位置如图 1所示。实验者穿运动鞋在无人水平场地正常行走3圈。对每个实验者采集3次数据。采集到的数据为人体步行时的前后方向(Y轴)、左右方向(X轴)、重力方向(Z轴)的三维加速度值,如图 2所示。

图 1 手机APP步态采集软件页面 Figure 1 Gait collection of Mobile APP page
图 2 三维加速度数据波形 Figure 2 The data waveform of three dimensional aceeleration

通过对比观察图 2数据波形发现,重力方向具有良好的周期性和稳定性,因此本方法选取人体重力方向[12]的步态加速度数据进行步态身份识别研究。

1.2 多尺度样本熵算法

1) 设原始时间序列:x1x2x3,…, xnn个点,对离散时间序列进行粗粒化,得到粗粒化后的时间序列yj(w), 粗粒化表达式为

$ \mathit{\pmb{y}}_j^{\left( w \right)} = \frac{1}{w}\sum\limits_{_{i = \left( {j - 1} \right)w + 1}}^{jw} {x\left( i \right)} , $ (1)

式中,w为尺度因子。粗粒化后的时间序列长度为原始时间序列长度的$\frac{1}{w}$。以尺度3为例进行粗粒化,粗粒化过程如图 3所示

图 3 尺度为3的粗粒化过程 Figure 3 Coarse-grained process with a scale of three

其中

$ {\mathit{\pmb{y}}_j} = \frac{{{x_{n - 2}} + {x_{n - 1}} + {x_n}}}{3}。$ (2)

2) 根据尺度w变化所得到的时间序列,长度$\frac{n}{w}$, 按连续序号组成一组m维矢量;从y1(w)y(w)(N-m+1), 其中,yj(w)=[y(w)(i), y(w)(i+1), y(w)(i+m-1)], i=1~n-m+1。这些矢量代表了从第i个点开始的连续的my值。

3) 定义d[yi(w), yj(w)]为尺度w上矢量yi(w)yj(w)对应元素相减并取绝对值最大的那个值,d[yi(w), yj(w)]=max[|y(w)(i+k)-y(w)(j-k)|],k=0~m-1;i, j=1~n-m+1,ij

4) 给定阈值r,对于每一个in-m+1的值,统计d[yi(w), yj(w)]小于r的数目及此数目与距离总数n-m的比值,记做Ciw, m(r), 即$C_i^{w,m}\left( r \right) = \frac{1}{{n - m}}${[d[yi(w), yj(w)]<r]的数目}, i, j=1~n-m+1,ij, Ciw, m(r)表示在时间尺度w, 以yi为中心,嵌入维数为m,阈值为r情形下,其余矢量yi(w)yj(w)的距离d[yi(w), yj(w)]小于r的概率,表示所有yj(w)(ij)与yi(w)的关联程度,也就是矢量序列{yj(w)}的规律程度。

5) 对所有的点求平均值,即${C^{w,m}}\left( i \right) = \frac{1}{{\left( {n - m + 1} \right)}}\sum\limits_{i = 1}^{n - m + 1} {C_i^{w,m}\left( r \right)} $Cw, m(r)表示矢量{yj(w)}在尺度w下的平均自相关程度。

6) 增加维数至m+1,重复(2)-(5)步骤,从而得到尺度wm+1维数下的规律程度Ciw, m+1(r),求其平均值,得到Cw, m+1(r)。

理论上该时间序列在尺度w下的样本熵定义为

$ {\rm{Samp}}\;En\left( {m,r} \right) = \mathop {\lim }\limits_{n \to \infty } - \ln \left[ {\frac{{{C^{w,m + 1}}\left( r \right)}}{{{C^{w,m}}\left( r \right)}}} \right]。$ (3)

n为有限值时,按上述步骤可得序列长度为n,尺度为w时的样本熵估计值,将估计值记作

$ {\rm{Samp}}\;En\left( {w,m,r} \right) = - \ln \left[ {\frac{{{C^{w,m + 1}}\left( r \right)}}{{{C^{w,m}}\left( r \right)}}} \right]。$ (4)

多尺度熵定义为样本熵值在多个尺度下的集合,所以多尺度熵值为

$ {\rm{MSE}} = \left\{ {w|{\rm{Samp}}\;En\left( {w,m,r} \right) = - \ln \left[ {\frac{{{C^{w,m + 1}}\left( r \right)}}{{{C^{w,m}}\left( r \right)}}} \right]} \right\}。$ (5)

多尺度熵算法流程如图 4所示。

图 4 多尺度熵算法流程 Figure 4 The procedure of Multiscale entropy algorithm
1.3 动态时间规整算法

动态时间规划算法[13]是一种非线性匹配算法,可以计算当参考样本和测试样本长度不同时特征序列的相似程度,并且能够根据动态时间规整的递推公式在搜索过程中找到满足最小累积距离的规整路径。设2个步态多尺度熵在各个尺度上的特征序列分别为P={p1, p2, p3, …, pn},Q={q1, q2, q3, …, qm},其中piqj表示特征点,如图 5所示,DTW算法通过网格交叉点路径对特征点进行匹配,使路径上节点失真距离总和达到最小。

图 5 DTW算法搜索路径 Figure 5 The search path of DTW algorithm

首先,对2多尺度熵特征序列PQ的幅值序列{Mp1, Mp2, …, Mpn}和{Mq1, Mq2, …, Mqm},计算幅值失真距离,dm(Pn, Qm),计算公式为

$ {d_m}\left( {{P_n},{Q_m}} \right) = \sum {\left| {{M_{qj}} - {M_{pi}}} \right|} , $ (4)

其中,i=1, 2, 3, ..., n; j=1, 2, 3, ..., m

2 算法验证与分析 2.1 多尺度熵算法仿真实验与分析

为观察同一实验者多尺度熵、不同实验者多尺度熵的关系,取重力方向步行加速度时间序列进行初步MATLAB仿真实验。选取时间序列长度1 000,嵌入模数m=2, 自相似系数r=0.15×SD, SD为时间序列的标准偏差,尺度w=20[8]

实验结果

a) 同一个实验者的重力方向步行加速度多尺度熵曲线如图 6所示,其中A1,A2为同一个实验者的2个步态样本。

图 6 同一个人的步态加速度多尺度熵曲线 Figure 6 Mutiscale entropy curve of gaint acceleration for the same person

b) 不同实验者的重力方向步态加速度信号多尺度熵曲线如图 7所示,其中A样本、B样本分别为2个不同实验者的步态样本。

图 7 不同人的步态加速度多尺度熵曲线 Figure 7 Mutiscale entropy curve of gaint acceleration for the different person

对比图 6图 7可以得出:同一个实验者的重力方向步态加速度信号多尺度熵曲线具有很好的重复性,不同实验者的重力方向步态加速度信号具有很大的差异。由此可知,取重力方向步态加速度信号的多尺度熵值作为人体步态身份识别的特征,具有合理性和可靠性。

2.2 动态时间规整算法仿真实验与分析

为进一步证实人体重力方向步行加速度数据在各个尺度上的熵值可以作为步态识别的特征,笔者采用DTW分别对部分实验者重力方向步态加速度信号的多尺度熵序列做相似性和差异性验证。

2.2.1 相似性测试

为验证同一名实验者重力方向多尺度熵曲线的相似性,取7名实验者2次的多尺度熵数据,利用DTW算法分别计算A1、A2样本的失真距离。计算结果见表 1。实验结果表明同一测试对象2次实验的失真距离比较小,即重力方向步态加速度信号的各尺度熵值比较接近。

表 1 利用DTW算法计算相同实验者失真距离 Table 1 Using DTW algorithm to calcuate the distortion distance for the same person
2.2.2 差异性测试

为验证不同实验者重力方向步态加速度信号多尺度熵的差异性,对2名不同实验者的重力方向步行加速度时间序列进行多尺度熵处理,得到多尺度熵序列。利用DTW算法计算失真距离。表 2是从8名实验者中随机选取2名,对其重力方向步态加速度信号进行多尺度熵处理,然后利用DTW算法计算2个不同实验者的幅值失真距离。

表 2 利用DTW算法计算不同实验者的失真距离 Table 2 Using DTW algorithm to calculate the distortion distance for the different person

表 1表 2的数据,发现不同实验者比同一实验者的重力方向步态加速度信号样本的多尺度熵曲线的幅值失真距离大,即同一实验者的重力方向步态加速度信号多尺度熵曲线比较接近,不同实验者的重力方向步态加速度信号多尺度熵差别比较大。

2.3 识别

以错误拒绝率(FRR, false rejection rate)和错误接收率(FAR, false acceptance rate)作为衡量算法性能的标准。实验采集50名实验者的正常重力方向步态加速度信号数据,每名实验者采集3个样本,求FRR时,将每个实验者的3个样本两两匹配,总匹配次数为C32×50=150次,FRR=总拒绝次数/总匹配次数;求FAR时,各取2名实验者任意一个样本进行匹配,总匹配次数为C502×C31×C31=11 025次,FAR=总接收次数/总匹配次数。

识别时,对于2个样本S1和S2,给定阈值th,当样本失真距离D(S1, S2)<th,则S1和S2属于同一位实验者2个样本,进行接收,否则拒绝。调节th取值,可以得到以错误接受率为横坐标,FRR为纵坐标的检测判断错误(DET, detection error tradeoff)曲线,如图 8所示。

图 8 检测错误代价曲线 Figure 8 The curve of Detection error cost

平均错误率表示FRR和FAR曲线相交点的错误接收率,它反映了FAR与FRR的总特性,EER越高说明识别效果越差。

其中,阈值根据FRR和FAR来设定。当FRR=0时,失真距离最大值为本级的下阈值。当FAR=0时,失真距离的最小值为本级上阈值。根据采集得到的样本数据,通过计算得到幅值的下阈值为0.060 7,上阈值为0.531 7。

2.4 结果分析

通过对50名实验者重力方向步态加速度信号数据进行多尺度熵处理,并且采用DTW算法计算幅值失真距离,结果表明,同一个实验者多尺度熵比较相似,不同实验者的多尺度熵差别较大,因此,采用一种多尺度熵和DTW算法相结合的新型步态识别方法,在实验的小样本范围内能够实现类内最大失真距离小于类间最大失真距离,通过阈值判断可实现步态身份的识别。与现有的步态识别算法相比,识别准确率得到有效的提升(见表 3),表明了所提出方法的有效性[14]

表 3 文献结果对比 Table 3 Comparison of literature results
3 结论

笔者提出了一种多尺度熵和DTW算法相结合的新型步态识别方法。该方法通过采用多尺度熵算法处理志愿者正常步行重力方向加速度数据,得到志愿者在步行过程中加速度信号的时间序列在不同尺度下的熵值,最后DTW进行匹配,得出失真距离。在实验的小样本范围内,能够通过阈值判断实现步态身份识别。与常用步态识别方法相比,该方法兼顾采样率、计算复杂度和识别率,符合方便、快捷、可靠等未来手机安全认证的特点和要求,并且具有进一步的研究价值。算法的优化和改进将是下一步研究的重点。

参考文献
[1]
Muhammad N B. A study on cell phone security: Authentication techniques[C]//International Conference on Information and Computer Technologies. 23-25 March 2018. DeKalb, IL, USA: IEEE, 2018.
[2]
Harbach M, Luca A D, Egelman S. The anatomy of smartphone unlocking: a field study of android lock screens[C]//CHI Conference on Human Factors in Computing Systems. ACM, May 7-12, 2016. San Jose, United States: IEEE 2016: 4806-4817.
[3]
Hoang T. Adaptive cross-device gait recognition using a mobile accelerometer[J]. Journal of Information Processing Systems, 2013, 9(2): 333-348. DOI:10.3745/JIPS.2013.9.2.333
[4]
陈国良, 张言哲, 杨洲. 一种基于手机传感器自相关分析的计步器实现方法[J]. 中国惯性技术学报, 2014, 22(6): 794-798.
CHEN Guoliang, ZHANG Yanzhe, YANG Zhou. Realization of pedometer with auto-correlation analysis based on mobile phone sensor[J]. Journal of Chinese Inertial Technology, 2014, 22(6): 794-798. (in Chinese)
[5]
衡霞, 王忠民. 基于手机加速度传感器的人体行为识别[J]. 西安邮电大学学报, 2014, 19(6): 76-79.
HENG Xia, Wang Zhongmin. Human activity recognition based on accelerometer data from a mobile phone[J]. Journal of University of Posts and Telecommunications, 2014, 19(6): 76-79. (in Chinese)
[6]
Nickel C, Derawi M O, Bours P, et al. Scenario test of accelerometer-based biometric gait recognition[C]//Third International Workshop on Security and Communication Networks, May 18, 2011. Gjvik, Norway: IEEE, 2014: 15-21.
[7]
Thang H M, Viet V Q, Thuc N D, et al. Gait identification using accelerometer on mobile phone[C]//International Conference on Control, Automation and Information Sciences. Nov 25-28, 2013. Nha Trang City, Vietnam: IEEE, 2013: 344-348.
[8]
Costa M, Goldberger A L, Peng C K. Multiscale entropy analysis of biological signals[J]. Physical Review E Statistical Nonlinear & Soft Matter Physics, 2005, 71(2): 21-29.
[9]
王俊, 宁新宝, 马千里. 基于多尺度熵的心电图分析[J]. 中国生物医学工程学报, 2008, 27(3): 331-334.
WANG Jun, NING Xinbao, MA Qianli. Multiscale entropy based electrocardiogram analysis[J]. Chinese Journal of Biomedical Engineering, 2008, 27(3): 331-334. (in Chinese) DOI:10.3969/j.issn.0258-8021.2008.03.003
[10]
Costa M, Peng C K, Goldberger A L, et al. Multiscale entropy analysis of human gait dynamics[J]. Physica a Statistical Mechanics & Its Applications, 2003, 330(1): 53-60.
[11]
刘晓婷.基于加速度的人体步态信息多尺度熵研究[D].天津: 天津大学, 2008.
LIU Xiaoting. Multiscale entropy analysis of body gait based on acceleration[D].Tianjin: Tianjin University, 2008. (in Chinese) http://cdmd.cnki.com.cn/article/cdmd-10056-2009071685.htm
[12]
谷丽华, 崔畅, 高松巍, 等. 基于MPU-6050的步态信号采集系统[J]. 沈阳工业大学学报, 2015, 37(2): 176-182.
GU Lihua, CUI Chang, GAO Songwei, et al. Gait signal acquisition system based on MPU-6050[J]. Journal of Shenyang University of Technology, 2015, 37(2): 176-182. (in Chinese)
[13]
Krzeszowski T, Switonski A, Kwolek B, et al. DTW-Based gait recognition from recovered 3-d joint angles and inter-ankle distance[M]. USA: Springer International Publishing, 2014: 356-363.
[14]
Derawi M O, Nickel C, Bours P, et al. Unobtrusive user-authentication on mobile phones using biometric gait recognition[C]//Sixth International Conference on Intelligent Information Hiding and Multimedia Signal Processing, Oct 15-17, 2010. Darmstadt, Germany: IEEE, 2010: 306-311.