神经心理量表理解力检测的人体姿态特征识别方法

房欣欣，王兵凯，孔航，葛学人，杨知方，余娟，吕洋，陈晨曦，李文沅; FANG Xinxin; WANG Bingkai; KONG Hang; GE Xueren; YANG Zhifang; YU Juan; LYU Yang; CHEN Chenxi; LI Wenyuan

网刊加载中。。。

使用Chrome浏览器效果最佳，继续浏览，你可能不会看到最佳的展示效果，

确定继续浏览么?

复制成功，请在其他浏览器进行阅读

神经心理量表理解力检测的人体姿态特征识别方法 PDF

- ORCID：
房欣欣 ¹
✉
- ORCID：
王兵凯 ¹
- ORCID：
孔航 ¹
- ORCID：
葛学人 ¹
- ORCID：
杨知方 ¹
✉
- ORCID：
余娟 ¹
- ORCID：
吕洋 ²
- ORCID：
陈晨曦 ²
- ORCID：
李文沅 ¹

1. 重庆大学电气工程学院，重庆 400044； 2. 重庆医科大学附属第一医院老年病科，重庆 401122

中图分类号： TP391.41

最近更新：2023-05-12

DOI：10.11835/j.issn.1000-582X.2021.214

摘要

神经心理测试可以对各认知域受损严重程度做出客观评价，是检测疾病进展、评估药物疗效的有效手段。其中理解力测试部分通过判断受试者是否根据指令要求作出相应动作实现，是老年人认知功能障碍评估的重要部分，有利于痴呆的早预防早干预。文章提出了一套神经心理测试中理解力检测的人体姿态估计视频分析方法，基于Openpose深度卷积网络提取人体关键点坐标，随后基于图像形态学处理技术和Faster R-CNN等技术提出了纸张、牙刷等目标物体关键点二维坐标提取方法，并以量表中动作要求建立人体姿态估计数学模型。通过实验对神经心理测试的6个动作进行识别，结果表明，所提姿态估计数学模型和交互动作识别方法能够有效检测人体姿态动作指令及人与纸张的交互指令。

关键词

神经心理测试; 理解力检测; 人体姿态动态特征; 姿态识别模型; 目标检测

痴呆是一种增龄性综合征，其患病率随年龄增长而迅速上升。中国65岁以上的老年人痴呆的患病率5.14%，85岁以上增至23.66%^[

1]，目前已经有超过1 000万痴呆老人（占全球25%），成为继心血管疾病、脑卒中和恶性肿瘤之后威胁老年人群生命健康的第四大“杀手”。阿尔茨海默病（Alzheimer’s disease，AD）作为痴呆的主要类型，是以进行性认知功能障碍为主要特征的神经系统退行性病变，占痴呆的50%~75%。在临床实践中，AD患者认知功能损害的严重程度、疗效随访和预后随访极大依赖神经心理测试评估。

理解力测试是神经心理测试的重要项目，通过判断受试者是否根据指令要求做出相应动作实现，是老年人认知功能障碍评估的重要部分。理解力测试包含多项人体动作测试以及和目标物体的互动测试。文献[

2⁃4]分别基于Kinect传感器提出了站、蹲、坐、弯腰、躺和上肢运动的识别方法。当关节点发生重叠时，文献[5]提出了修复方法用以处理关节点在一个或者多个姿势中重叠的情况。文献[6⁃8]基于OpenPose算法研究老年人跌倒行为的检测方法。文献[9⁃11]将人体姿态识别方法运用到患者康复训练和康复效果评估中。文献[9]提出了一套基于OpenPose的上肢康复系统，通过三维重建获得三维人体姿态信息并利用交互软件指导患者进行家用康复训练。文献[10]提出一种基于OpenPose和Kinect的三维人体姿态估计方法，利用霍特双参数指数膨化方法对关节点运动轨迹进行平滑和预测。文献[11]结合OpenPose和门控循环单元网络提出一种人体康复动作识别算法，利用注意力机制构建融合三层时序特征的GRU网络进行康复动作二分类。文献[12⁃14]将人体姿态识别算法进行改进并应用在无人驾驶、太极动作、手势检测等场景。目前已有大量不同场景的人体姿态识别研究，但是很少针对神经心理测试的测试项进行研究，尤其是其涉及受试者与目标物体之间的互动。

神经心理理解力测试包含折纸、握拳、指屋顶地板、拍肩膀、移动牙刷等指令要求。针对其特定的人体姿态识别要求及受试者与目标物体互动等问题，作者提出一种基于OpenPose的神经心理量表理解力测试方法，结合Faster R-CNN考虑目标物体的形态转变，综合建立人体姿态和目标物体的互动识别模型，完成了整套动作的评分。实验结果表明，文中提出的方法能够有效实现神经心理理解力测试中特定人体姿态识别及受试者与目标物体互动识别。

1 OpenPose的人体姿态估计

1.1 OpenPose的坐标获取

OpenPose是由卡耐基梅隆大学基于卷积神经网络和监督学习开发的C++开源库，它提供了基于COCO数据集^[

15]的18个身体关键点、左右手各21个关键点、脸部70个关键点的坐标，以二维坐标和置信度

(x, y, c)

的形式给出，如图1所示。其工作原理是：先把输入尺寸为

W \times H

的二维图片经过10层VGG19网络转化为特征图，再利用双支路卷积网络进行处理，双支路分别进行关键点置信度

S

预测和关键点亲和度向量场

L

预测，最后经过关键点聚类进行骨架组装得到关键点坐标。OpenPose可以实现人体骨骼关节、手指运动、面部表情等姿态估计，借鉴卷积姿态机（convolutional pose machines， CPM）中采用大卷积核获得大感受野的思想，可以较好处理遮挡情况下的人体姿态识别问题。

图1 OpenPose中身体、手部和面部关键点

Fig. 1 Key points of body， hand and face detected by OpenPose

1.2 坐标预处理方法

在利用OpenPose采集坐标数据的过程中，由于肢体交叉遮挡、拍摄角度、背景光线明暗等问题，获得的原始坐标数据 $(x, y, c)$ 中包含有部分置信度 $c$ 较低的数据和少量异常抖动数据，对数据的准确性造成影响，导致后续的姿态估计中极易出现误判的现象，所以有效的数据预处理是非常必要的。

首先，剔除置信度较低的数据，以保证采集坐标数据整体的精度；然后，针对异常抖动数据，通过中值滤波的方法消除其影响，经过多组数据验证，滤波窗口大小为11的中值滤波操作的去抖效果最好；最后，用插值的方法将剔除的数据补全^[

16]，插值滤波的具体步骤如下。

由于被剔除的数据较少且不连续，所以采用分段线性插值的方法进行补全：分段线性插值函数记作 $I_{n} (x)$ ，它满足

I_{n} (x_{i}) = y_{i}

。

(1)

$I_{n} (x)$ 在每个区间 $[x_{i}, x_{i + 1}]$ 是线性函数， $I_{n} (x)$ 可表示为

I_{n} (x) = \sum_{i = 0}^{n} y_{i} l_{i} (x)

，

(2)

l_{i} (x) = \{\begin{array}{l} \frac{x - x_{i - 1}}{x_{i} - x_{i - 1}}, x \in [x_{i - 1}, x_{i}], \\ 0, x \in (- \infty, x_{i - 1}) ⋃ (x_{i + 1}, + \infty), \\ \frac{x - x_{i + 1}}{x_{i} - x_{i + 1}}, x \in [x_{i}, x_{i + 1}] 。 \end{array}

(3)

$y_{i}$ 为 $x_{i}$ 对应的实际值， $l_{i} (x)$ 为插值基函数，保证插入值的计算仅与相邻2个节点有关。 $I_{n} (x)$ 具有良好的收敛性， $n$ 越大时，与实际数值的误差越小，能够较好地保证补全数据的可靠性。

1.3 姿态估计数学模型

由于人体姿态的变化都伴随着肢体的伸缩移动，相应的关键点之间会产生距离、角度、相对位置的变化，所以姿态识别可以通过分析人体关键点间的数学信息变化特征来实现。对预处理得到的关键点进行计算，得到坐标数据间的欧式距离、余弦角、斜率、相对位置等信息，通过分析神经心理测试理解力测试标准动作完成时以上信息的变化特征，分别设置相应的阈值或区间条件，当达到该阈值或者满足区间条件时视为实现该动作。

以完成屈肘动作为例，说明姿态估计数学模型构建及判断流程。

设 $a, b, c$ 分别为人体右肩、右肘、右腕关键点，如图2所示。利用OpenPose获得受试者完成屈肘动作过程中各个关键点坐标值。

图2 屈肘动作评分参考图

Fig. 2 Elbow flexion score

通过式(3)，计算关键点之间的欧式距离 $d_{a c}$ 、余弦角 $c o s θ_{b}$ 、斜率 $k_{a c}$ 相对位置 $x_{a c}, y_{a c}$ 等信息：

\{\begin{array}{l} d_{a c} = \sqrt[]{(x_{a} - x_{c})^{2} + (y_{a} - y_{c})^{2}}, c o s θ_{b} = \frac{d_{a b}^{2} + d_{b c}^{2} - d_{a c}^{2}}{2 \cdot d_{a b} \cdot d_{b c}}, \\ k_{a c} = \frac{y_{a} - y_{c}}{x_{a} - x_{c}}, x_{a c} = x_{a} - x_{c}, y_{a c} = y_{a} - y_{c} 。 \end{array}

(4)

标准屈肘动作完成时 $d_{a c}$ 和 $c o s θ_{b}$ 分别呈现明显的减小和增大趋势，所以设置阈值条件 $d_{a c_m i n}$ 和 $c o s θ_{b_m a x}$ ；当受试者的 $d_{a c}$ 和 $c o s θ_{b}$ 分别小于和大于上述相应阈值时，视为完成屈肘动作。

1.4 交互动作的识别

在神经心理量表理解力测试中，常常涉及到受试者和其他物体的交互，OpenPose仅能获得人体的关键点坐标，为了拓展OpenPose在交互动作识别中的应用，需要对交互物体进行检测和定位，结合交互物体的特点，可以将交互物体分为以下两类：第一类交互物体特征显著、动作过程中不涉及形态变化，如牙刷、鼠标等，可以使用深度学习目标检测技术对交互物体进行识别，实现交互物体的坐标提取；第二类交互物体特征提取困难、动作过程中发生形态变化，如折纸动作中的纸张，可以采用图像处理技术，利用颜色空间变换、连通域提取等方法，实现该类物体的定位和坐标提取。基于以上分析，提出了以下2种提取物体坐标的方案。

1.4.1 基于Faster R-CNN的目标检测

Faster R-CNN是目标检测的主要框架之一^[

17]，比YOLO、SSD等框架精度更高^{[参考文献 18

百度学术}18]，Faster R-CNN的整体结构如图3所示。

图3 Faster R-CNN整体结构

Fig. 3 Structure of R-CNN

Faster R-CNN由4部分结构组成：首先，卷积层提取输出图片特征，得到特征图；接着，通过RPN网络输出多个推荐候选区域；然后，通过ROI Pooling将不同大小的输入转化为固定长度的输出；最后，分类回归，输出候选区域所属的类及其在图像中的精确位置。

本Tensorflow Object Detection API中提供的Faster R-CNN框架和COCO数据集（包含80个类别）实现目标检测，可以将待识别物体以矩形框加置信度标注的形式框选出来，同时得到归一化后的矩形框左上角坐标 $(x_{m i n}, y_{m i n})$ 和右下角的坐标 $(x_{m a x}, y_{m a x})$ ，其参考坐标系与OpenPose的参考坐标系一致，如图4所示。

图4 目标检测结果

Fig. 4 Target detection results

结合量表测试的需要，作出了以下两方面的改进：一方面，把归一化的像素坐标值转化为实际的像素坐标，同时用矩形框中心坐标代替物体坐标，简化分析过程，可以用式(4)计算矩形框的中心坐标 $(x, y)$ 来代替被检测物体：

\{\begin{array}{l} x = \frac{(x_{m a x} + x_{m i n})}{2} \cdot i m g_w i d t h, \\ y = \frac{(y_{m a x} + y_{m i n})}{2} \cdot i m g_h e i g h t 。 \end{array}

(5)

另一方面，AD量表涉及到的交互物体中的卡片虽然不包含在COCO数据集类别中，但是由于卡片在动作过程中不发生折叠等形态变化，可以通过在卡片上绘制香蕉等COCO数据集中的物体的图案，通过检测香蕉间接实现对卡片的检测和坐标提取。

1.4.2 基于图像形态学处理技术的纸张坐标提取算法

对于纸张这类物体由于特征提取困难，难以使用目标检测方法进行坐标提取，所以通常从数字图像技术的角度进行处理。传统数字图像技术中的坐标提取方法是将纸张用固定形状的矩形框定位出来，但是当纸张的形状、位置、颜色等发生变化或受到遮挡时，无法准确提取出纸张边角坐标和面积变化情况，文中提出基于图像形态学处理技术的纸张坐标提取方法，如图5所示。

图5 纸张坐标提取流程图

Fig. 5 Process of the paper coordinate extraction

具体表述如下：

1）二值化处理，由于纸张区域为明显的白色，像素值接近255，合理设置[210，255]的像素阈值，消除大部分的背景干扰，但仍有人体皮肤和地面反射光线干扰的存在。

2）为了消除皮肤的干扰^[

19]，将图片像素信息从

R G B

映射到

[Y C_{b} C_{r}]

颜色空间，映射公式为

[\begin{array}{l} Y \\ C_{b} \\ C r \end{array}] = [\begin{array}{l} 16 \\ 128 \\ 128 \end{array}] + [\begin{matrix} K r & K_{g} & K_{b} \end{matrix}] [\begin{array}{l} R \\ G \\ B \end{array}], [\begin{matrix} K r & K_{g} & K_{b} \end{matrix}] = [\begin{matrix} 0.257 & 0.504 & 0.098 \\ - 10.148 & - 10.291 & 0.439 \\ 0.439 & - 10.368 & - 10.071 \end{matrix}]

。

(6)

$[Y C_{b} C r]$ 颜色空间是一种常用的肤色检测的色彩模型，其中 $Y$ 表亮度， $C_{b}$ 代表光源中的蓝色分量， $C r$ 代表光源中的红色分量。人的肤色在外观上的差异是由色度引起的，不同人的肤色分布集中在较小的区域内。肤色的 $[Y C r C_{b}]$ 颜色空间 $[C r C_{b}]$ 平面分布在近似的椭圆区域内，通过判断当前像素点的 $[C r C_{b}]$ 是否落在肤色分布的椭圆区域内，就可以很容易地确认当前像素点是否属于肤色，由此滤除皮肤的影响。

3）在消除皮肤干扰后，可以发现图像中还存在部分孤立点，可以对图像进行开闭运算进行消除^[

20]。使用开运算，对图像先腐蚀运算，再膨胀运算，消除孤立的小点；由于手的遮挡导致纸张部分的图像不完整，所以可以在开运算之后进行闭运算，对图像先膨胀运算，再腐蚀运算，以填充凹角。

4）用最小矩形框将图像中最大连通域，即纸张区域框选出来^[

21]，这样可以准确提取出纸张4个边角的坐标信息。

2 人体姿态估计在AD量表理解力智能化检测中的应用

2.1 神经心理测试中理解力测试指令

神经心理测试量表中通过要求受试者完成指定动作来评估受试者的理解能力，主要要求受试者完成如下动作：1）用右手拿纸，再用双手对折，将纸放在大腿上；2）握拳；3）指屋顶，然后指地板；4）用1只手的2个手指拍每个肩膀2次；5）将牙刷放在卡片上面，然后再拿回来，将鼠标放到卡片的另一边并且将卡片翻过来。

2.2 识别流程

研究基于第1章所提人体姿态识别及目标检测方法设计了如图6所示的姿态评估流程。

图6 姿态识别流程

Fig. 6 Human posture recognition process

通过语音给出受试者动作指令，调用2个摄像头从不同角度同时记录受试者的动作，将记录的视频由OpenPose处理后得到人体关键点二维坐标，对所得坐标进行滤波、插值等预处理以消除数据抖动可能带来的误判，将记录的视频由图像形态学或API目标检测处理后得到纸张、牙刷等交互物体的二维坐标，对所得坐标进行平移、翻转后使之与人体关键点坐标位于同一坐标系下，最后将预处理后的坐标输入到姿态识别数学模型中，得到该动作的评分情况。

2.3 建立姿态识别模型

1）用右手拿纸，再用双手对折，将纸放在大腿上。人体资态关键点。纸张。牙刷等物体关键点信息如图7所示。需提取的关键点：身体关键点2、3、4、5、6、7、8；纸张的4个顶点。右手拿纸：当右手手腕与纸张顶点1的欧式距离 $d_{1}$ 持续2 s (60帧)小于设定的距离阈值时，判定受试者完成右手拿纸：

d_{1} = \sqrt[]{(x_{b 4} - x_{p 1})^{2} + (y_{b 4} - y_{p 1})^{2}}

，

(7)

式中： $(x_{b i}, y_{b i})$ 表示第 $i$ 个身体关键点坐标； $(x_{p i}, y_{p i})$ 表示第 $i$ 个纸张顶点坐标。

图7 人体姿态关键点、纸张、牙刷等物体关键点信息

Fig. 7 Key point information of body， hand， paper， toothbrush and other objects

折纸。当整个过程中纸张面积的最大值 $S_{m a x}$ 和最小值 $S_{m i n}$ 满足 $S_{m a x} \geq 2 S_{m i n}$ 时，判定受试者完成折纸。

a = \sqrt[]{(x_{p 1} - x_{p 2})^{2} + (y_{p 1} - y_{p 2})^{2}}, b = \sqrt[]{(x_{p 1} - x_{p 3})^{2} + (y_{p 1} - y_{p 3})^{2}}, S_{p a p e r} = a \times b

。

(8)

将纸放到大腿上：当左右手肘夹角的余弦值 $c o s ∠ 567$ ， $c o s ∠ 234$ 都出现了先增大再减小这一过程并且此后每一帧身体关键点8与纸张顶点1的欧式距离 $d_{3}$ 均小于设定的阈值距离时，判定受试者完成将纸放在大腿上。

d_{3} = \sqrt[]{(x_{b 8} - x_{p 1})^{2} + (y_{b 8} - y_{p 1})^{2}}

，

(9)

c o s ∠ 567 = \frac{d_{56}^{2} + d_{67}^{2} - d_{57}^{2}}{2 \times d_{56} \times d_{67}}, c o s ∠ 234 = \frac{d_{23}^{2} + d_{34}^{2} - d_{24}^{2}}{2 \times d_{23} \times d_{34}}

，

(10)

式中， $d_{i j}$ 表示身体关键点 $i, j$ 之间的欧式距离。

2）握拳。需提取的关键点：右手关键点0、4、8、12、16、20。当某一帧右手所有指尖到手腕的欧式距离 $d_{i_0}$ 同时小于整个过程中最大欧式距离 $d_{i_0_m a x}$ 的1/2即同时满足 $d_{i_0} < 0.5 d_{i_0_m a x}$ 时，判定受试者完成握拳。

d_{i_0} = \sqrt[]{(x_{i} - x_{0})^{2} + (y_{i} - y_{0})^{2}}, i = 4,8, 12,16,20

。

(11)

3）指屋顶，然后指地板。需提取的关键点：右手关键点0、8。当 $∆ y < 0 且 | k_{80} | > 4$ 时判定受试者完成指屋顶；当 $∆ y > 0 且 | k_{80} | > 4$ 时判定受试者完成指地板。

Δ y = y_{8} - y_{0}, |k_{80}| = |\frac{y_{8} - y_{0}}{x_{8} - x_{0}}|

，

(12)

式中： $Δ y$ 表示食指指尖与手腕在y方向的相对位置； $k_{80}$ 表示食指指尖与手腕两点连线的斜率。

4）用1只手的2个手指拍每个肩膀2次。需提取的关键点：身体关键点2、3、4、5；右手关键点0、4、8、12、16、20。拍左肩：当某一帧右手手腕到左肩的欧式距离小于设定的距离阈值并且右手肘、右手腕、左肩3点共线即满足 $|∆ k_{1}| < 0.05 且 d_{45} < 100$ 时，判断受试者完成拍左肩动作。拍右肩：当右手肘和右手腕的连线近似垂直并且右手手腕到右肩的欧式距离小于设定的距离阈值即满足条件 $|k_{34}| > 10 且 d_{24} < 100$ 时判断受试者完成拍右肩动作。

d_{24} = \sqrt[]{(x_{2} - x_{4})^{2} + (y_{2} - y_{4})^{2}}, d_{45} = \sqrt[]{(x_{4} - x_{5})^{2} + (y_{4} - y_{5})^{2}}

，

(13)

k_{i j} = \frac{y_{i} - y_{j}}{x_{i} - x_{j}} (i, j = 2,4, 3,4, 4,5), Δ k_{1} = k_{34} - k_{45}

。

(14)

5）将牙刷放在卡片上面，然后再拿回来。当牙刷与卡片的横坐标之差 $∆ x_{c_t}$ 先减小后增大并且前后 $∆ x_{c_t}$ 的符号相同时，判定受试者完成该动作。将鼠标放到卡片的另一边并且将卡片翻过来：当 $∆ x_{c_m}$ 的正负发生变化情况即可判定受试者将鼠标放到了卡片的另一边。卡片正面和背面分别印有苹果和香蕉的图案。当苹果的坐标消失，香蕉的坐标出现时，判定受试者完成将卡片翻过来。

Δ x_{c_t} = x_{c} - x_{t}, Δ x_{c_m} = x_{c} - x_{m}

，

(15)

式中： $x_{c}$ 为卡片的横坐标； $x_{t}$ 为牙刷的横坐标； $x_{m}$ 为鼠标的横坐标； $∆ x_{c_m}$ 代表鼠标与卡片的相对位置。

3 实验结果及分析

本实验的硬件系统主要由2个像素为800万，最高分辨率为3 264×2 448的摄像头构成，其中一个摄像头用于正面拍摄，另一个摄像头用于俯视拍摄。软件系统主要由OpenPose1.3.0和Opencv-Python3.4.5构成。根据AD量表中指定受试者完成的动作的特点，调用相应的摄像头记录受试者完成的动作，将该视频交由OpenPose1.3.0和Opencv-Python3.4.5处理后分别得到每一帧(1秒30帧)人体关键点的二维坐标和交互物体(如纸张等)的二维坐标。将得到的二维坐标经数据预处理后输入到姿态识别模型中，输出受试者该动作的完成得分情况。

3.1 数据预处理前后的影响

由于OpenPose在提取人体关键点二维坐标时可能出现的出现跟丢、跟错等情况，得到的坐标置信度较低，进而有可能造成姿态误判，故需要对获取的坐标进行预处理操作。如图8所示，在识别指地板这一动作的过程中，受试者已经完成了指地板这一动作，但是由于OpenPose对食指指尖的定位出现偏差（偏差点为点8，实际点为 $8'$ ），通过式(15)计算出8、0两点连线斜率的绝对值 $| k_{80} |$ 小于实际 $8'$ 、0两点连线斜率的绝对值 $| k_{8' 0} |$ 从而误判为受试者未完成该动作。

图8 姿态误判示意图

Fig. 8 Human posture misjudgment

如表1所示，通过滤波剔除第43帧的坐标，再结合第42、44帧的坐标对其进行均值插值，再由式(10)计算得到的 $| k_{80} |$ 满足判断条件。通过滤波插值不仅提高了姿态识别的准确率，也保证了动作的连贯性和完整性。

表1 滤波前后的数据变化

Table 1 Data before and after filtering

滤波前后	帧	x	y	置信度	$\| k_{80} \|$
滤波前	42	674.65	752.97	0.36	19.40
	43	652.19	691.78	0.09	2.58
	44	658.87	756.15	0.43	16.20
滤波后	42	674.65	752.75	—	19.40
	43	666.76	754.56	—	7.10.
	44	658.87	756.15	—	16.20

3.2 姿态识别结果分析

为了验证所建姿态识别模型的准确度，本部分测试了神经心理测试的所有指令。实验结果将对“用右手拿纸，再用双手对折，将纸放在大腿上”这一动作的识别结果进行详细分析，图9为识别过程。

图9 姿态识别过程

Fig. 9 Human posture recognition

右手手腕到纸张的欧式距离( $d_{1}$ )如图10所示，蓝色段曲线( $d_{1}$ )从400 mm左右快速下降到170 mm左右，此过程对应受试者伸右手拿纸的过程，橙色段曲线( $d_{1}$ )持续小于设定的距离阈值，对应着受试者拿到纸后折纸和放纸的过程。受试者拿到纸之后， $d_{1}$ 出现了连续的波动，这是因为受试者在折纸的过程中纸张顶点1的位置会随机跳动；在后半段 $d_{1}$ 再次出现了轻微的下降，是因为在放纸的过程中，手与纸张同俯拍摄像头之间距离增大。

图10 右手手腕到纸张的欧式距离

Fig. 10 Distance from the wrist of the right hand to the paper

纸张面积( $S$ )变化如图11所示，蓝色段曲线纸张的面积 $S$ 维持在50 000 $m m^{2}$ 左右，对应受试者取纸的过程，在这个过程中纸张的面积基本不发生变化；灰色段曲线纸张面积迅速减小，对应着受试者折纸的过程；橙色段曲线纸张的面积维持在15 000 $m m^{2}$ 左右，对应受试者完成折纸后纸张的状态，由于手部遮挡以及纸张与摄像头之间的距离增大等因素，导致折纸后纸张面积小于折纸前纸张面积的一半。

图11 纸张面积变化

Fig. 11 Changes of paper in size

图12中的橙色段曲线 $c o s ∠ 567$ 和 $c o s ∠ 234$ 增大，则左右手肘夹角减小，对应着受试者将纸张拿到胸前；蓝色段曲线 $c o s ∠ 567$ 和 $c o s ∠ 234$ 减小，则左右手肘夹角增大，对应着受试者将纸张放下。图13中红色段曲线 $d_{3}$ 仍小于设定的距离阈值，判断受试者完成将纸放到大腿上。

图12 左右手肘夹角余弦变化情况

Fig. 12 Cosine value of the wrist

图13 纸张到身体关键点的欧式距离

Fig. 13 European distance from paper to body key points

实验结果出现了 $d_{3}$ 小于设定的距离阈值，但手肘夹角余弦值未出现先变大再变小这一过程，说明受试者完成折纸后，纸张位于大腿的正上方，此时还未将纸张放到大腿上。若手肘夹角余弦值出现先变大再变小这一过程后， $d_{3}$ 大于设定的距离阈值，则受试者可能将纸放在大腿的旁边或者其他位置，此类情况判定受试者未完成该动作。

“握拳”“指屋顶然后指地板”“将牙刷放在卡片上面，然后再拿回来”“将鼠标放到卡片的另一边并且将卡片翻过来”“用1只手的2个手指拍每个肩膀2次”5个动作的识别情况进行分析，识别结果如表2所示。

表2 其他动作的识别结果

Table 2 Recognition results of other actions

识别动作	提取对应坐标	完成情况	得分
握拳			1
指屋顶然后指地板			1
将牙刷放在卡片上面，然后再拿回来			1
识别动作	提取对应坐标	完成情况	得分
将鼠标放到卡片的另一边并且将卡片翻过来			1
用1只手的2个手指拍每个肩膀2次			1

进一步，选取老年受试者对文中所提方法进行了相关测试，测试过程如图14所示。结果表明，文章所提方法可以适应老年人神经心理测试量表的评估要求。

图14 老年人姿态识别测试过程

Fig. 14 The test process for the elderly

4 结束语

针对量表中理解力测试部分提出一套基于OpenPose的人体姿态估计视频分析系统，辅助传统人工AD诊断流程。利用OpenPose获取了人体关键点坐标，基于图像形态学处理技术和Faster R-CNN等技术提出对纸张、牙刷等指定目标二维坐标提取方法，针对量表中的具体动作建立人体姿态识别数学模型，通过实验验证了模型的准确性和可靠性。

参考文献

Jia J P， Wang F， Wei C B， et al. The prevalence of dementia in urban and rural areas of China[J]. Alzheimer's & Dementia， 2014， 10(1):1-9. [百度学术]

Wasenmüller O， Stricker D. Comparison of Kinect V1 and V2 depth images in terms of accuracy and precision[C]. Asian Conference on Computer Vision Workshop. Springer， 2016， 34-45. [百度学术]

Wang W J， Chang J W， Haung S F， et al. Human posture recognition based on images captured by the Kinect sensor[J]. International Journal of Advanced Robotic Systems， 2016， 13(2): 54. [百度学术]

Hsu S C， Huang J Y， Kao W C， et al. Human body motion parameters capturing using kinect[J]. Machine Vision and Applications， 2015， 26(7): 919-932. [百度学术]

李昕迪，王云龙，何艳，等. 基于Kinect的人体单关节点修复算法研究[J]. 自动化技术与应用， 2016， 35(4):100-102， 124. [百度学术]

Li X D， Wang Y L， He Y， et al. Research on the algorithm of human single joint point repair based on Kinect[J]. Techniques of Automation and Applications， 2016， 35(4)， 100-102， 124.(in Chinese) [百度学术]

沈秉乾，武志勇，贺前华，等. 人体姿势状态判决的跌倒检测方法[J]. 计算机应用， 2014(Z1):223-227， 264. [百度学术]

Shen B Q， Wu Z Y， He Q H， et al. Falling detection method based on human body posture judgment[J]. Journal of Computer Applications， 2014(Z1): 223-227， 264. (in Chinese) [百度学术]

汪大峰. 视频监控中跌倒行为识别[J]. 电子设计工程， 2016， 24(22): 122-126. [百度学术]

Wang D F. Abnormal behavior recognition of fall in surveillance video[J]. Electronic Design Engineering， 2016， 24(22):122-126. (in Chinese) [百度学术]

张程，祝凯，赵德鹏，等. 基于人体骨架的跌倒行为识别研究[J]. 电子技术与软件工程， 2020(23): 85-86. [百度学术]

Zhang C， Zhu K， Zhao D P， et al. Fall behavior recognition based on human skeleton[J]. Electronic Technology & Software Engineering， 2020(23): 85-86. (in Chinese) [百度学术]

唐心宇，宋爱国. 人体姿态估计及在康复训练情景交互中的应用[J]. 仪器仪表学报， 2018， 39(11): 195-203. [百度学术]

Tang X Y， Song A G. Human pose estimation and its implementation in scenario interaction system of rehabilitation training[J]. Chinese Journal of Scientific Instrument， 2018， 39(11): 195-203. (in Chinese) [百度学术]

王怀宇，林艳萍，汪方. 基于OPENPOSE的三维上肢康复系统[J]. 机电一体化， 2018， 24(9):31-37. [百度学术]

Wang H Y， Lin Y P， Wang F. Three-dimensional upper limb rehabilitation system based on OPENPOSE[J]. Mechatronics， 2018， 24(9):31-37. (in Chinese) [百度学术]

白敬，宋爱国，李会军，等. 基于工作空间测量的居家脑卒中患者上肢康复训练评估系统[J]. 仪器仪表学报， 2018， 39(4): 74-81 [百度学术]

Bai J， Song A G， Li H J， et al. Upper extremity rehabilitation training and assessment system for home stroke patients based on workplace measurement[J]. Chinese Journal of Scientific Instrument， 2018， 39(4): 74-81. (in Chinese) [百度学术]

徐彬，郑燕萍，曹高兴. 面向无人驾驶的行人三维姿态估计方法[J]. 科学技术与工程， 2018， 18(34): 85-91. [百度学术]

Xu B， Zheng Y P， Cao G X. 3D pose estimation method of pedestrians for driverless vehicles[J]. Science Technology and Engineering， 2018，18(34):85-91. (in Chinese) [百度学术]

Qiao S， Wang Y， Li J. Real-time human gesture grading based on OpenPose[C]. International Congress on Image and Signal Processing. IEEE， 2017:1-6. [百度学术]

Cao Z， Simon T， Wei S E， et al. Realtime multi-person 2D pose estimation using part affinity fields[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE， 2017:7291-7299. [百度学术]

Lin T Y， Maire M， Belongie S， et al. Microsoft coco: Common objects in context[C]. In European Conference on Computer Vision. Springer， Cham: 740-755. [百度学术]

司守奎，孙玺菁. 数学建模算法与应用[M]. 北京: 国防工业出版社， 2011. [百度学术]

Si S K， Sun X J. Mathematical modeling algorithms and applications[M]. Beijing: National Defense Industry Press， 2011. (in Chinese) [百度学术]

Ren S， He K， Girshick R， Sun J. Faster r-cnn: Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2017， 39(6):1137-1149. [百度学术]

Rajendran S P， Shine L， Pradeep R， et al. Fast and accurate traffic sign recognition for self driving cars using retinanet based detector[C]//2019 International Conference on Communication and Electronics Systems (ICCES). IEEE， 2019: 784-790. [百度学术]

曹建秋，王华清，蓝章礼. 基于改进YCrCb颜色空间的肤色分割[J]. 重庆交通大学学报(自然科学版)， 2010， 29(3): 488-492. [百度学术]

Cao J Q， Wang H Q， Lan Z L. Skin Color Division Base on Modified YCrCb Color Space[J]. Journal of Chongqing Jiaotong University (Natural Science)， 2010， 29(3): 488-492. (in Chinese) [百度学术]

张莹. 开闭运算在消除图象噪声中的应用研究[J]. 潍坊学院学报， 2002(2): 65-66. [百度学术]

Zhang Y. The application of opening-closing operation to eliminate lmage noise[J]. Journal of Weifang University， 2002(2):65-66. (in Chinese) [百度学术]

陈柏生. 一种二值图像连通区域标记的新方法[J].计算机工程与应用， 2006， 42(25):46-47. [百度学术]

Chen B. A new algorithm for binary connected components labeling[J]. Computer Engineering and Applications， 2006.42(25) :46-47. (in Chinese) [百度学术]

期刊社主页

编辑部首页

期刊介绍

编委会

数据库收录

过刊浏览

联系我们