文章快速检索     高级检索
  重庆大学学报  2017, Vol. 40 Issue (11): 91-98  DOI: 10.11835/j.issn.1000-582X.2017.11.011 RIS(文献管理工具)
0

引用本文 

张之得, 庞博文, 王正杰, 李浩源. 脑肌电多设备集成系统的接口硬件设计[J]. 重庆大学学报, 2017, 40(11): 91-98. DOI: 10.11835/j.issn.1000-582X.2017.11.011.
ZHANG Zhide, PANG Bowen, WANG Zhengjie, LI Haoyuan. Hardware design of interface for integrated brain-controlled system[J]. Journal of Chongqing University, 2017, 40(11): 91-98. DOI: 10.11835/j.issn.1000-582X.2017.11.011. .

基金项目

国家高技术研究发展计划(863计划)资助项目(2015AA042304)

作者简介

张之得(1992-), 男, 北京理工大学博士研究生, (Tel)18959586440;(E-mail)2362243203@qq.com

文章历史

收稿日期: 2017-03-21
脑肌电多设备集成系统的接口硬件设计
张之得1, 庞博文2, 王正杰1, 李浩源1     
1. 北京理工大学 机电学院, 北京 100081;
2. 北京邮电大学 国际学院, 北京 100876
摘要: 脑肌电控制是使用人的脑电和肌电信号对设备进行控制的新型人机控制方式。为了方便其多设备类型集成控制系统的构建,设计了一种兼容多设备控制信号的新型脑肌电控制系统信号接口,详细描述了其3层结构工作原理、不同模式的工作流程以及各功能模块的硬件设计。接口还具备针对误操作的安全保护功能,该功能采用显示反馈和二次确认的方式实现,可以有效优化控制系统的安全性能。
关键词: 脑机接口    集成系统    硬件设计    
Hardware design of interface for integrated brain-controlled system
ZHANG Zhide1 , PANG Bowen2 , WANG Zhengjie1 , LI Haoyuan1     
1. School of Mechatronical Engineering, Beijing Institute of Technology, Beijing 100081, P. R. China;
2. International School, Beijing Unversity of Posts and Telecommunications, Beijing 100876, P. R. China
Supported by National High-tech R&D Program (863 Program) (2015AA042304)
Abstract: Brain control is a new man-machine control method using electroencephalogram (EEG) and electromyography (EMG) to control the device. In order to facilitate its multi-device integrated control system construction, a design of a new compatible multi-device control signal interface is presented. Meanwhile, its working principle of three-tier structure, work processes in different modes and hardware design of the functional modules are described in detail. By ways of display feedback and confirmation alert, the interface also includes a security function, which can effectively improve the safety control system.
Key Words: brain-computer interface    integrated system    hardware design    

随着人口老龄化程度的加深和残障人士对于生活品质诉求的提高,社会上对于医疗和生活辅助型的设备需求在不断提升。国内外多家机构着眼于研究开发辅助智能设备,现已成熟的相关产品有摇杆式电动轮椅、电动病床、各种智能家居设备等。然而对于重障患者而言,由于其可能没有相关的四肢功能,普通的自动式医疗辅助设备将不再适用,而脑肌电控制是可采取的一种有效的方法。

近年来,随着对脑电肌电控制的研究越发深入,医疗辅助设备基于脑-机接口方式[1]的脑肌电控制产品趋于实用。然而现有的各种智能设备通常为独立的设备,患者需要在转换控制各设备时更换相应脑肌电控制器,如智能轮椅多采用电压信号或PWM信号控制驱动电机[2-3],而智能病床则采用高低电平开关量控制继电器的方式控制病床起降[4],另外智能家居设备很多则采用无线通信使用数字信号获取控制信息[5-6],如图 1所示,而重障患者可能并不具备更换的能力。另外,由于脑肌电控制目前的不稳定特点[7],使用者的误操作将可能导致危险。笔者设计了一种兼容多设备的重障者脑肌电信号人机接口的硬件系统,其功能示意如图 2所示,并加入显示反馈安全模式,以解决以上问题。

图 1 传统脑肌电信号控制接口的通讯方式 Figure 1 Traditional communicate method for Brain-Control
图 2 新型脑肌电信号控制接口的通讯方式 Figure 2 New communicate method for Brain-Control
1 系统结构和工作流程设计

该脑肌电信号人机交互式接口硬件系统在功能上为3层结构,如图 3所示,即信号接收、信号处理、信号发送3层。信号接收层由脑肌电数字信号接口构成,主要功能为准确接收脑肌电控制输入信号;信号处理层由指令处理与分类模块和命令反馈确认模块构成,主要负责识别分类脑肌电信号的具体指令,在安全模式下还需要将命令进行反馈;信号发送层为各个信号输出接口,包括模拟信号输出接口、开关信号输出接口、有线串行数字信号输出接口、无线数字信号输出接口,负责对终端被控设备进行控制。

图 3 本接口的3层结构 Figure 3 Three layers of the interface structure

该接口的具体工作流程分为两种模式,如图 4图 5所示,说明如下:电源开启后,首先信号接收端将时刻检测是否有脑肌电控制信号传入;接收端一旦收到输入信号,则触发接口处理器的中断进入中断程序,读取信号,根据系统内部规定的通信协议完成解码与校验,识别具体被控设备及指令意图,若发现丢包,则对主机发送丢包确认信号,要求重发信号;在安全模式下,识别出的指令信号若在软件设定的危险指令集中,则需要在反馈显示器上显示,患者将判断是否为具体意愿而发出确认或修改的指令,若确认则直接进入下一步实际控制,若修改则返回上一步重新接收命令;最后,命令输出环节上,根据不同的被控设备所需的不同控制端口,处理器将自主选择使用合适的信号发送端口进行实际的控制信号输出。

图 4 普通模式的工作流程图 Figure 4 Work flow chart of normal mode
图 5 安全模式的工作流程图 Figure 5 Work flow chart of safe mode
2 硬件电路设计

本接口的设计目标是实现脑肌电信号提取设备与各种智能服务终端设备之间的信号互联的兼容式简化,并具有指令交互功能——这里设计为一个显示模块,患者观看显示器显示的动作图像反馈后,发出确认或修改命令以降低误操作的概率,改善安全性能。为满足设计功能,若对该接口的硬件设计进行模块分解,主要应包括如下模块:1)处理器最小系统和电源模块,2)脑肌电数字信号接收模块,3)各信号输出端口模块,4)命令反馈确认模块。

2.1 处理器最小系统与电源模块

本接口的中央处理器选用STMicroelectronics公司的STM32F407ZET6芯片。该芯片基于ARM Cotex-M4内核,32位,主频168 MHz,采用LQFP封装,引脚数为144。其拥有7组共112个通用I/O口,RAM容量192 kB,FLASH容量1 024 kB,高达15个通讯接口中包含4个UART串口、3个I2C串口以及3个SPI串口[8]。作为接口设备的控制器,其处理速度够快,存储空间够大,片上丰富的端口资源也十分符合接口设计要求。

微控制器的最小系统包括微控制器芯片、外部晶振电路以及电源电路组成。其中外部晶振选用8 MHz石英晶振和32。768 kHz石英晶振,为控制器分别提供外部高速和低速时钟源。电源部分选用5 V外部电源,采用ASM1117芯片将其转换为3。3 V微控制器芯片标准工作电压,并且为了方便供电,该部分还加入了USB接口以提供USB供电功能。

需要注意的是,由于由开关量信号控制的设备实际采用电压控制继电器的原理,在该方面可采用电压信号直接控制设备进行动作,因此该部分端口的信号可以直接由控制器分配的一组通用I/O口提供。无线通讯方面,借助集成的Zigbee通讯模块,其同型号之间可自动分配主从关系并进行地址分配和组网,自主完成Zigbee协议的无线通讯,其传输的数字信号可直接由控制器的一组UART串口提供。在本部分中方便地将开关信号输出和无线信号输出2个部分与最小系统一同做出说明。电源系统和最小系统的电路连接设计见图 6图 7,本接口选用A组的8个I/O口作为开关量信号输出引脚,UART3(PB10为发送,PB11为接收无线信号串口。

图 6 电源系统的电路连接设计 Figure 6 Power supply system design
图 7 最小系统的电路连接设计 Figure 7 Minimum system design
2.2 脑肌电数字信号接收模块

本设计脑肌电数字信号端口采用常用的工业数字通讯接口标准RS232,定义特定的串行通讯协议与脑肌电提取设备进行数字信号通信。考虑其电平标准与处理器电路的TTL电平标准不同,要求进行电平转换,这里选用SP3232芯片实现该功能。该芯片是针对RS232标准电平的转换芯片,最高数据速度为120 kbps,输入输出两端实现TTL与RS232电平转换。具体设计电路见图 8

图 8 脑肌电数字信号端口电路连接 Figure 8 Circuit connection of digital signal port
2.3 模拟信号输出模块

STM32F4片上自带2路DAC模块,均为电压输出,可被配置为12位或者8位,也能和DMA联合使用。DAC具有2个独立转换通道。在双DAC模式下,DA抓换可被配置成独立模式或者同步工作模式。两路DAC参考电压以及ADC都是VREF。

考虑到2路DAC提供的信号输出端口偏少,为防止端口不够用,本接口添加了一个DAC芯片DAC5571,以扩展出一个模拟信号输出端口。DAC5571是德州仪器工作生产的一型I2C通信的8位数模转换器,精度虽然低于STM32F4自带的DAC,但已能满足普通工业控制精度的要求[9]。使用控制器自带的I2C串行接口驱动外部DAC,具体电路连接图见图 9

图 9 DAC模块的电路连接 Figure 9 Circuit connection of DAC
2.4 显示反馈模块

当看护人不在患者身边时,对于轮椅和病床等与患者密切相关的动作型设备的误操作将导致不可预见的安全问题,如轮椅由于误加速造成的冲撞、跌落等危险后果,又如病床由于误抬起而造成病人的跌落。为了解决安全性问题,设计添加反馈显示模块,在看护者离开时打开接口的安全模式,在这种模式下,接口将在接收到可能导致安全问题的动作指令后,使用显示屏为患者呈现形象的动作指令图像,并等待患者的确认或修改指令,只有确认后才执行指令。这种反馈交互的方式可以很大程度上避免误操作的发生,对保障病患安全有着重要的意义。

本接口采用ALIENTEK公司生产的4。3英寸电容触摸液晶屏模块作为反馈显示器。此模块是该商家专门针对STM32F407控制器设计的,内置一个基于ILI9341的二级驱动集成电路,控制器需对其以一定时序传输数据和指令以控制显示器。其时序图如图 10图 11

图 10 液晶屏驱动的读时序 Figure 10 LCD driver reading sequence
图 11 液晶屏驱动的写时序 Figure 11 LCD driver writing sequence

若将RS(指令/数据选择端)看作只有一位的地址选择端,其内部有2个分立空间,分别为DATA RAM和CMD RAM,则其读写时序可与普通外部静态存储设备(SRAM)类比。因此,STM32控制器为实现该协议传输可使用内置的FSMC(flexible static memory controller)进行信号时序控制。FSMC给予使用者的特殊功能寄存器可以方便对信号传输的处理:选择任意一个地址线对应液晶屏的RS端(指令/数据写入选择端)实现地址选择代替指令/数据信号选择,通过设置内部的特殊寄存器,可以很方便地定义信号读写时序。液晶屏驱动模块的具体电路连接如图 12

图 12 液晶屏驱动模块的电路连接 Figure 12 Circuit connection of LCD driver
3 实验验证

按照介绍的硬件设计方案,完成了实际集成电路设计与加工并进行测试。设计测试实验方案如下:

依据定制的通信帧格式和指令协议,利用电脑串口调试软件生成不同的模拟脑肌电控制指令,通过RS232接口输入硬件电路。观察设备执行情况,与控制意图对比,并统计实验结果以验证其性能,统计结果如表 1所示。

表 1 实验结果统计 Table 1 Result of experiment

由结果可以得知,本接口电气特性稳定。指令稳定时,对病床和无线遥控家居的控制成功率达到100%,对轮椅的控制成功率为96%,其失效原因是链路压降和外界扰动造成的控制电压不准确,后期可以采用反馈放大电路进行调整。

4 结论

研究设计了一种新型的集成式交互型重障者脑肌电信号人机接口的硬件系统,其主要功能包括:

1) 集成多种智能终端设备的控制信号和控制方式,解决需要建立集成多种设备的脑肌电辅助医疗系统时由于设备的控制方式不同而导致的困难。

2) 添加安全机制,开启安全模式下,由软件定义的某些影响安全性的命令需要重障者进行二次确认,有效保护重障者的安全。

参考文献
[1] Wolpaw J R, Birbaumer N, McFarland D J, et al. Brain-computer interfaces for communication and control[J]. Clin Neurophysiol, 2002, 113(6): 767–791. DOI:10.1016/S1388-2457(02)00057-3
[2] 杜宇, 吴燮华. 电动轮椅控制器的设计与实现[J]. 电力电子技术, 2004, 38(1): 63–65.
DU Yu, WU Yihua. Design and realization of power wheelchair controller[J]. Power Electronics, 2004, 38(1): 63–65. (in Chinese)
[3] 薛涛. 智能电动轮椅控制系统的研究[D]. 石家庄: 河北科技大学, 2014.
XUE Tao. Research of intelligent electric wheelchair control system[D].Shijiazhuang: Hebei University of Science and Technology, 2014. (in Chinese) http://cdmd.cnki.com.cn/Article/CDMD-10082-1014173834.htm
[4] 周游, 方滨, 王普, 等. 基于ZigBee技术的智能家居无线网络系统[J]. 电子技术应用, 2005, 31(9): 37–40.
ZHOU You, FANG Bing, WANG Pu, et al. Smart home wireless network system based on ZigBee[J]. Application of Electronic Technique, 2005, 31(9): 37–40. (in Chinese)
[5] 王树峰. 电动自动控制病床的研制[J]. 医疗卫生装备, 2008, 29(12): 62–63.
WANG Shufeng. Manufacture of electric and auto control sickbed[J]. Chinese Medical Equipment Journal, 2008, 29(12): 62–63. DOI:10.3969/j.issn.1003-8868.2008.12.025 (in Chinese)
[6] 刘传忠. 基于ZigBee的无线智能家居控制系统研究[D]. 上海: 上海交通大学, 2013.
LIU Chuanzhong. Study on smart home control system based on Zigbee[D]. Shanghai:Shanghai Jiaotong University, 2013. (in Chinese) http://cdmd.cnki.com.cn/Article/CDMD-10248-1015027886.htm
[7] Shenoy P, Krauledat M, Blankertz B, et al. Towards adaptive classification sification for BCI[J]. Neural Engineering, 2006, 3: 13–23. DOI:10.1088/1741-2560/3/1/R02
[8] STMicroelectronics. STM32F407ZG[EB/OL]. http://www.st.com/st-web-ui/static/active/en/resource/technical/document/datasheet/DM00037051.pdf. 2013.6.
[9] Texas Instruments.+2.7V to +5.5V, I2C interface, voltage output, 8-bit digitalto-analog converter[EB/OL]. http://www.ti.com.cn/cn/lit/ds/symlink/dac5571.pdf. 2005.8.15.