文章快速检索     高级检索
  重庆大学学报  2013, Vol. 36 Issue (4): 103-109  DOI: RIS(文献管理工具)
0

引用本文 

侯文生, 万莎, 吴小鹰, 万小萍, 蔡全, 郑小林, 陈海燕. 手指运动姿态检测及假肢手指动作实时控制[J]. 重庆大学学报, 2013, 36(4): 103-109. DOI: .
HOU Wensheng, WAN Sha, WU Xiaoying, WAN Xiaoping, CAI Quan, ZHENG Xiaolin, CHEN Haiyan. Finger gesture detection and its application to real-time control of prosthetic finger movements[J]. Journal of Chongqing University, 2013, 36(4): 103-109. DOI: . .

基金项目

国家自然科学基金资助项目(30970758,31271060);国家科技支撑计划项目(2011BAI14B04);重庆市自然科学基金资助项目(CSTC2012JJA10103)

作者简介

侯文生(1968-), 男, 重庆大学教授, 博士生导师, 主要从事神经工程与康复、医学信号检测研究, (Tel)023-65111931; (E-mail) w.s.hou@cqu.edu.cn

文章历史

收稿日期: 2012-12-02
手指运动姿态检测及假肢手指动作实时控制
侯文生1,2, 万莎1, 吴小鹰1,2, 万小萍1,2, 蔡全1, 郑小林1,2, 陈海燕2     
1. 重庆大学 生物医学工程系, 重庆 400044;
2. 重庆市医疗器械质量与安全控制工程技术研究中心, 重庆 400030
摘要: 设计了一种通过实时检测手指关节弯曲角度控制假肢手指动作的实验系统。系统主要由手指运动姿态实时检测、关节角度分析、控制与驱动电路、欠驱动机电假肢手4部分组成,假肢手包含拇指、食指、中指3个独立动作的手指;利用加速度传感器ADXL330实时检测手指运动姿态信息,由DSPTMS320F2812微处理器实时检测手指关节运动的瞬时角度变化并进行PWM脉冲编码,控制步进电机运动以驱动假肢手指关节转动。并分别对加速度传感器检测手指运动和假肢手指动作实时控制进行了实验测试;实验结果表明,系统采用的加速度传感器ADXL330能实时检测手指运动姿态,利用手指关节角度信息能有效驱动假肢手指屈伸,并通过三指配合完成抓握动作。
关键词: 加速度传感器    运动姿态    假肢手指    欠驱动    
Finger gesture detection and its application to real-time control of prosthetic finger movements
HOU Wensheng1,2 , WAN Sha1 , WU Xiaoying1,2 , WAN Xiaoping1,2 , CAI Quan1 , ZHENG Xiaolin1,2 , CHEN Haiyan2     
1. College of Biomedical Engineering, Chongqing University, Chongqing 400044, China;
2. Chongqing Engineering Research Center for Quality & Safety Control of Medical Device, Chongqing 400030, China
Abstract: A DSP-based experimental system with real-time finger joint angle detection and prosthetic finger control is designed here. The prototype system is mainly composed of four parts:real-time finger posture detection, joint angle analysis, control pulse encode, and underactuated prosthetic hand with three individually active fingers, i.e. thumb, index finger and middle finger. The real-time finger joint movement is detected by acceleration sensor ADXL330, and the microprocessor DSPTMS320F2812 is used to collect the output of acceleration sensor and calculate angle changes of the finger joint instantaneously. Then, the angle changes are encoded to PWM pulse sequence to control the stepper motor, which drove the rotation of prosthetic finger joint. Preliminary tests are given to multi-finger motion detection and real-time prosthetic finger control, respectively. The experimental results show that the acceleration sensor ADXL330 can be used to reliably detect the gesture of finger movements, it can effectively drive flexion movement and extension movement of prosthetic finger, and the grip action can be completed with the coordination of thumb, index finger, and middle finger.
Key Words: acceleration sensor    motion gesture    prosthetic fingers    underactuate    

意外伤害和疾病导致的上肢运动功能障碍会严重影响患者的正常生活[1],具有运动功能的假肢手是一种极具有应用前景的上肢运动功能辅助装置[2],其相关研究在近几十年来取得了很大进步[3]。但调查显示30%~50%的上臂缺失患者不能很好地使用假肢手[2]。因此,研究开发能模拟人手运动机能的机电假手仍旧是康复工程领域有待突破的重要技术之一。

人手的重要运动功能是手指动作相互协同,主要包括手指力量和手指运动姿态的配合。在假肢手指的力量控制方面,以肌电信号[4]、脑电信号[5]的力量特征参数控制假肢手力量输出被广泛研究,其部分结果已得到实际应用,肌肉收缩活动产生的MMG[6]、MK[7]以及超声信号[8]也被尝试用于假肢控制。关于假肢手指的运动姿态控制,研究人员先后采用神经肌肉电生理信号特征分析[9]以及运动轨迹数学规划[10]等不同方式对假肢手指的运动姿态进行优化,并得到了一些阶段性成果。为了更进一步逼近手指的自然动作,实时检测手指运动姿态信息并以此控制假肢手指的运动受到关注,图像识别[11]是其中的一种常用方法,但存在处理时间长、控制精度低等局限。

加速度传感器是近年来用于实时检测关节运动姿态的一种新技术[12],它应用集成化微型加速度传感器检测角度信息,具有操作方便、灵敏度高等优点。文中针对手指运动姿态信息在假肢控制中的应用,设计了一种基于手指运动姿态检测的欠驱动假肢手控制系统。

1 假肢手系统设计

设计的假肢手系统主要包括手指运动姿态检测、关节角度分析、控制与驱动电路、欠驱动机电假肢手4部分,如图 1所示。

图 1 假肢手系统组成框图

1) 手指运动姿态检测:利用加速度传感器ADXL330实时检测手指关节运动,以获取手指运动姿态信息;

2) 关节角度分析:利用微处理器DSP TMS320F2812实时处理手指关节运动姿态信息,提取手指关节运动的瞬时角度变化;

3) 控制与驱动电路:利用微处理器对手指关节角度信息进行脉冲编码,再通过驱动电路对控制假肢手指运动的步进电机的转动角度进行实时控制;

4) 欠驱动假肢手:以步进电机和机械传动对假肢手指关节动作进行驱动,实现假肢手的动作控制。

2 假肢手模型结构及驱动设计

欠驱动机制在假肢手设计中具有广泛的应用[1],相比于独立驱动器,它能使假肢以一种更接近人手的方式抓握物体。文中采用欠驱动以及模块化的方式设计了1个三自由度三指假肢手模型,分别由3个电机独立驱动,如图 2(a)图 2(b)所示。假肢手指由3个可活动的关节,包括掌指关节(MCP)、近端指间关节(PIP)、远端指间关节(DIP)组成,各关节具体的尺寸及运动范围参考人手实际的尺寸及其空间运动范围[13],如表 1所示。

图 2 假肢手结构模型
表 1 假肢手手指尺寸及运动范围

采用步进电机驱动以实现关节转动角度的精确控制,蜗轮蜗杆以及同步带将步进电机的动能进行转换并传送到假肢手指的各关节,实现对手指关节动作的驱动。微控制器输出控制脉冲使步进电机按一定模式转动,电机带动蜗轮以及位于掌指关节的同步带轮1转动,在同步带的作用下,分别位于近端指间关节和远端指间关节处的同步带轮2也会转动相应的角度,从而实现手指运动,具体传动方式如图 2(c)所示。

设轴上蜗杆的头数为n1,与之啮合的蜗轮的齿数为n2,蜗轮与蜗杆的初级传动比为β,则

$ \beta = \frac{{{n_2}}}{{{n_1}}}, $ (1)

由于系统中蜗轮蜗杆具有自锁性,因此n1为1。

$ \beta = {n_2}, $ (2)

若步进电机的步距角为α1,蜗轮的转角为α2,由于同步带轮的大小相同,则

$ {\alpha _2} = \frac{{{\alpha _1}}}{\beta } = \frac{{{\alpha _1}}}{{{n_2}}}。$ (3)

假如同步带轮和远端指间关节的转角分别为α3α4,由于蜗轮与掌指关节上的同步带同轴,因此同步带轮的转角α3与远端指间关节的转角α4相等,且

$ {\alpha _3} = {\alpha _4} = {\alpha _2} = \frac{{{\alpha _1}}}{{{n_2}}}。$ (4)

所以当手指运动时,由上述分析可知手指各个关节转动角度之间的关系。

3 手指运动姿态的实时检测及假肢手运动控制 3.1 手指运动关节角度的实时检测

利用加速度传感器ADXL330实现对手指运动关节角度的实时检测,其基本原理是:将加速度传感器固定在手指掌指关节上,使传感器y轴与对应关节相平行,可得掌指关节与水平方向的夹角θ,如图 3(a)所示,其y轴输出与倾角θ之间的关系为

$ \theta = \arcsin \frac{{\left( {{y_t} - {y_0}} \right)}}{{{k_y}}}, $ (5)
图 3 加速度传感器ADXL330检测手指运动关节角度示意图

其中:θ是掌指关节相对水平方向的倾角;yt是传感器当前的输出值;yo为传感器敏感轴在初始位置的输出值;ky为传感器y轴的灵敏度。

为简化系统设计,这里仅利用ADXL330 y轴的输出信号测量了掌指关节的角度变化。具体测量方法是:分别在拇指、食指、中指的掌指关节和手背处固定加速度传感器,通过掌指关节处的加速度传感器检测掌指关节与水平面的夹角θ1,手背处的加速度传感器检测手掌面与水平方向的夹角θ2,如图 3所示,拇指、食指、中指掌指关节相对于手掌的角度由θ1θ2确定,即

$ {\theta _3} = {\theta _2} - {\theta _1}。$ (6)

4个加速度传感器的输出信号由数字信号处理器(DSP)TMS320F2812进行实时采集,并利用IQMath函数库将传感器检测到的信号进行处理,转换成相应的角度信息。

3.2 假肢手指关节运动控制的实现

为实现对假肢手指动作姿态的控制,将DSP实时检测的手指关节角度信息编码为PWM控制脉冲和方向控制电平。通过I/O口分别输入到假肢手的3个电机驱动模块,控制假肢手指运动(见图 4)。整个系统结构框图如图 4(a)所示。

图 4 假肢手指运动控制

DSP信号采集和步进电机控制流程如图 4(b)所示。当手指运动时,利用加速度传感器ADXL330实时检测手指关节运动姿态信息,并通过微处理器处理获得不同手指掌指关节相对于手掌位置的瞬时角度变化。选择步进电机的步距角为0.9度/步,计算出瞬时角度对应的脉冲编码数,并对比手指关节前后2次运动的角度差,若大于0,则I/O口输出高电平,驱动步进电机正转,假肢手指做屈运动,反之,假肢手指做伸运动。

其中设置T2周期中断启动AD转换,采样率定为2 000 Hz,通过顺序采样实现4路传感器数据的采集。同时设定时器T1为PWM的时基以及EVA比较单元CMP1、CMP2、CMP3输出PWM驱动直流电机驱动模块,PWM输出频率为300 Hz。通过中断函数控制PWM数输出,当步进电机完成相应步数转动后,则停止PWM发送。

选择步进电机型号为28BYGH501,由图 4(c)所示的步进电机驱动模块控制电机转动角度,DSP输出产生的控制脉冲和方向控制电平分别输入到L297的步进时钟和方向端口,结合内部译码器,可提供抑制和斩波功能所需的时序信号,并输出至L298的逻辑接口,转换为恒流信号输出,从而实现对步进电机的驱动。

4 实验 4.1 加速度传感器检测手指运动姿态的实验验证

为了验证加速度传感器测量手指运动姿态的可行性,设计了以动态摄像跟踪手指运动和加速度传感器实时测量手指关节转动角度的对比实验。实验中将传感器固定在食指的掌指关节MCP、近端指间关节PIP、远端指间关节DIP中间位置处,拇指、中指、环指和小指向掌面弯曲并保持不动,并尽量使传感器y轴与对应关节相平行,如图 5(a)所示。实验分别采用DSP TMS320F2812处理器和美国DRS公司的RDT/16高速摄像机获得食指弯曲过程中3个指节与水平方向的夹角,即θ1θ2θ3。其中,RDT/16高速摄像机以25帧/秒的拍摄速度记录手指弯曲过程,并利用图像分析软件MiDAS2.0对标记点进行识别获取标记点的坐标位置信息,通过各个标记点之间的几何关系和三角函数式得出各个关节角信息[13]。加速度传感器和动态摄像测量角度结果如图 5(b)(c)所示。将动态摄像所测角度作为约定真值,统计加速度传感器所测关节角度绝对误差的分布范围结果如图 5(d)所示,可以看出,其测量的绝对误差主要集中在0.5°~3.5°,表明了采用的加速度传感器能用于手指关节运动姿态检测,并具有较高的精度和灵敏度。

图 5 加速度传感器对手指运动姿态的检测
4.2 三指假肢手指运动实验

为了评估手指运动姿态对假肢手运动实时控制的效果,设计了1个三指假肢手运动跟踪实验。将3个传感器贴于塑料环上,并分别戴在受试者右手的拇指、食指、中指近指骨靠近掌指关节处,第4个传感器贴于手掌背面食指掌骨节与拇指掌骨节连线中点处,并尽量使传感器的y轴与所测手指的掌骨节平行,如图 6(a)所示,且环指和小指向掌面自然弯曲并保持不动。

图 6 三指假肢手指运动跟踪过程

实验中受试者保持坐立姿态,手腕保持不动,使3个手指在竖直平面内平缓运动,并在2 s内完成一次手指抓握动作,人手指和假肢手指初始位置如图 6(b)所示,其中拇指、食指、中指与水平方向的夹角分别约为10°、20°、30°。当受试者手指做屈运动,抓握物体时,假肢手指也随之转动一定角度,如图 6(c)所示。图 6(d)反映了手指完成物体抓握动作,3个手指合拢时,假肢手3个手指也同时弯曲闭合。

可以看出,手指从初始位置到完成抓握动作,食指和中指转动的角度约为20°,拇指转动的角度约为10°。此外,在实验过程中,假肢手能很好的跟踪手指的运动姿态,但由于步进电机和机械传动存在一定的反应时间,使得整个机械手指在运动过程中会产生300~500 ms的延时,考虑实验中手指运动的速度较慢,因此可忽略延时产生的影响。

5 结语

为了利用手指运动直接控制假肢手指的动作,设计了一种基于手指运动姿态检测的仿人手欠驱动假肢手控制系统。该系统利用加速度传感器ADXL330实时检测手指运动姿态信息,并通过DSP TMS320F2812转换为相应的PWM输出,驱动步进电机驱动模块及步进电机,通过机械传动实时控制假肢手运动。实验结果表明,加速度传感器可实时检测手指运动姿态,并能有效控制假肢手指的动作。

以手指关节运动信息实时控制假肢手指的运动姿态,具有操作方便、灵活性高的优点,较好地克服了脑电[4]、肌电[5]等生理信号控制假肢手动作的一些固有的局限,以及图像识别[11]这类假肢控制源处理时间长、精度低的不足。当然,文中的工作还只是仿生假肢手的初步研究。由于仅利用了ADXL330的y轴信息,还只能检测到手指关节在竖直方向的角度变化,xyz轴信息的综合应用将有助于获得手指关节在空间范围的屈伸过程,并采用系统辨识法、零极点配置法、根轨迹法[14]等方法减小传感器测量过程中产生的误差;同时,在假肢手指关节独立运动的驱动方式设计中,假肢手指机电系统的集成化嵌入式设计等方面还有待进一步改进,以提供仿生假肢手的实用化水平。

参考文献
[1] Peerdeman B, Boerey D, Kallenbergy L, et al. A biomechanical model for the development of myoelectric hand prosthesis control systems[C]//Proceedings of the 32nd Annual International Conference of the IEEE Engineering in Medicine and Biology Society, August 31-September 4, 2010, Buenos Aires, Argentina. Piscataway:IEEE Press, 2010:519-523.
[2] Chang W T, Tseng C H, Wu L L. Creative mechanism design for a prosthetic hand[J]. Journal of Engineering in Medicine, 2004, 218(6): 451–459. DOI:10.1243/0954411042632108
[3] Kevin T O T, Mark M M. Mechanical design and theoretical analysis of a four fingered prosthetic hand incorporating embedded SMA bundle actuators[J]. Proceedings of World Academy of Science:Engineering and Technology, 2007, 25: 142–149.
[4] Shi J, Chang Q, Zheng Y P. Feasibility of controlling prosthetic hand using sonomyography signal in real time:preliminary study[J]. Journal of Rehabilitation Research and Development, 2010, 47(2): 87–98. DOI:10.1682/JRRD.2009.03.0031
[5] Zhang Z, Fan H L. Prosthetic controlled system based on signal pattern recognition of electroencephalogram[C]//Proceedings of the 2008 International Seminar on Future BioMedical Information Engineering, December 18-18, 2008, Wuhan, Hubei. Piscataway:IEEE Press, 2008:287-290.
[6] Silva J, Heim W, Chau T. A self-contained, mechanomyography-driven externally powered prosthesis[J]. Archives of Physical Medicine and Rehabilitation, 2005, 86(10): 2066–2070. DOI:10.1016/j.apmr.2005.03.034
[7] Heath G H. Control of proportional grasping using a myo-kinemetric signal[J]. Technology and Disability, 2003, 15(2): 73–83.
[8] 陈昕, 郑永平, 郭静宜. 基于超声信号的假手实时控制系统研究[J]. 仪器仪表学报, 2010, 31(7): 1478–1483.
CHEN Xin, ZHENG Yongping, GUO Jingyi. Study on ultrasound-based prosthetic hand real-time control system[J]. Chinese Journal of Scientific Instrument, 2010, 31(7): 1478–1483. (in Chinese)
[9] Yang D P, Zhao J D, Gu Y K, et al. An anthropomorphic robot hand developed based on underactuated mechanism and controlled by EMG signals[J]. Journal of Bionic Engineering, 2009, 6(3): 255–263. DOI:10.1016/S1672-6529(08)60119-5
[10] 谭岗慧子, 陈劲杰. 三指仿人灵巧手轨迹规划及仿真研究[J]. 机械研究与应用, 2010, 3: 44–47.
TAN Ganghuizi, CHEN Jinjie. Trajectory planning and simulation on three-finger dexterous hand[J]. Mechanical Research & Application, 2010, 3: 44–47. DOI:10.3969/j.issn.1005-8265.2010.01.013 (in Chinese)
[11] Kumar P V, Praneeth N R V, Sudheer V. Hand and finger gesture recognition system for robotic application[J]. International Journal of Computer Communication and Information System, 2010, 2(1): 266–269.
[12] 侯文生, 戴加满, 郑小林, 等. 基于加速度传感器的前臂运动姿态检测[J]. 传感器与微系统, 2009, 28(1): 106–108.
HOU Wensheng, DAI Jiaman, ZHENG Xiaolin, et al. Detection of human upper limb motion gesture based on acceleration sensor[J]. Transducer and Microsystem Technologies, 2009, 28(1): 106–108. (in Chinese)
[13] 蔡全. 手指运动姿态检测及对机械手的控制研究[D]. 重庆大学硕士学位论文, 2011.
[14] 俞阿龙, 黄惟一. 加速度传感器的动态性能校正技术[J]. 测控技术, 2004(7): 5–7.
YU Along, Huang Weiyi. Correction technique of accelerometer's dynamic characteristics[J]. Measurement & Control Technology, 2004(7): 5–7. (in Chinese)
图 1 假肢手系统组成框图
图 2 假肢手结构模型
表 1 假肢手手指尺寸及运动范围
图 3 加速度传感器ADXL330检测手指运动关节角度示意图
图 4 假肢手指运动控制
图 5 加速度传感器对手指运动姿态的检测
图 6 三指假肢手指运动跟踪过程
手指运动姿态检测及假肢手指动作实时控制
侯文生, 万莎, 吴小鹰, 万小萍, 蔡全, 郑小林, 陈海燕