封万俊,夏春明,章 悦,蒋文都,刘 爽,余 静

(华东理工大学 机械与动力工程学院,上海 200237)

肌音信号概念是在研究中提出的辅助肌电信号识别的机械“声音”信号。它表示的是肌肉在运动过程中发出的径向振动低频信号。近年来,肌音信号(Multichannel Mechanomyographic signal,MMG)的研究主要应用在肌肉生理信号研究[1-2]和动作模式识别[3-4]两大领域。

手语是聋哑人之间沟通交流的语言,也是他们获取外界信息的重要方式[5]。同时手语也可以作为人机交互的一种自然交互手段[6]。目前对手语识别研究主要有基于图像识别技术[7-8]和基于弯曲传感器及运动传感技术[9]两种形式,利用肌音信号对手语识别研究还未深入。

目前在对MMG 信号采集方法上比较成熟的是基于压电式传感器TD-3 和采集卡组合的有限采集系统[10]。该系统比较笨重,固定方式复杂,价格昂贵,只适合在实验室场合的采集研究,不适合应用于实际的应用场合。市场上基于肌电信号的无线采集设备有MYO 腕带和gForce 手环,但基于肌音信号实现手语识别的无线采集设备尚未见报道。

本文设计一套质量轻、可穿戴及操作简单的多通道肌音信号无线采集系统。利用该系统采集对受试者的多组动作肌音信号。提取信号的小波包能量特征,进行18 组动作的分类,实现手语动作的识别,从而验证了采集系统应用于手语识别领域的可行性。

1 肌音系统硬件设计

图1 肌音信号无线采集系统硬件图Fig.1 Hardware diagram of MMG wireless acquisition system

1.1 肌音信号采集模块

肌音信号是一种肌肉收缩时发出的低频振动信号,其信号的频率范围在2~100 Hz,主要的信号能量集中在2~50 Hz。该信号采集模块的功能是将人体前臂上的特定肌肉振动信号转化为能被记录的数字信号,因此这就要求采集模块尽可能噪声低、精度高、质量轻及易于固定。本设计选用ADI 公司的数字式加速度传感器ADXL355 作为主要单元,设计电路图如图2所示。它是一款数字式、低功耗、质量轻的数字式MEMS 加速度传感器,它内部集成20 位的模/数转换器,采集精度高。本设计中输出量程为±2 g,采集频率为1~1 000 Hz,噪声密度在测量模式下电流功耗不足200 μA。

图2 肌音信号采集模块原理图Fig.2 Schematic diagram of MMG acquisition module

1.2 信号主控模块

信号主控模块是实现整个系统运行的核心部分。它将整个系统各个模块连接在一起,实现系统的各个功能。该模块通过SPI 通信方式读取采集模块的信号值,然后通过无线传输模块将该部分信息发送给计算机。本文采用ST 公司的STM32F405RGT6 作为系统核心芯片,它是基于ARM-M4 内核的32 位微控制器。工作主频达168 MHz,正常工作电压为1.8~3.6 V,工作温度范围为-40~85 ℃,功耗低,有丰富接口类型。

硬件设计采用的是STM32 单片机最小系统板的设计方式,包含一个8 MHz 的HSE 晶振,负载电容选择2.2 μF;一个 32.768 kHz 的 RTC 晶振,负载电容选择6 pF;4 个供电电压滤波电容,电容值为0.1 μF;一个低电平复位按键;BOOT0 和BOOT1 启动方式引脚电阻选用100 kΩ;设计四线制下载电路端口。

1.3 无线传输模块

无线传输模块的功能是将主控模块端的MMG 信号传输到计算机端。在设计该模块时必须保证它的传输速度。系统设计的采集频率为1 000 Hz,系统采集通道为 4 个,每个通道包含x,y和z三个方向的数据,由计算可知WiFi 芯片的传输速率需在224 000 b/s 以上。本文选用成都亿佰特电子科技有限公司的基于CC3200 射频芯片WiFi传输模块,其工作频段在2.4~2.484 GHz频段,采用USART透传模式传输数据,通信速率达1 Mb/s。

图3 WiFi传输模块电路原理图Fig.3 Circuit schematic diagram of WiFi transmission module

2 系统软件设计

2.1 STM32单片机控制程序设计

本文所述程序设计主要是主控模块中单片机的程序设计。为了实现MMG 信号的稳定快速采集,其主程序遵循一定的运行流程,如图4所示。

程序初始化的内容包含以下内容:

1)加速度传感器初始化,主要是SPI 通信对应引脚和通信方式的初始化。

本文旨在通过对经权思想的历史嬗变之梳理,对经权思想内涵的挖掘,冀望对翻译理论的研究与实践提供某种尝试与探索。

2)WiFi 模块使用初始化,主要是USART 通信引脚和通信波特率等的初始化。

3)定时中断初始化。定时时间为1 ms,定义了数据的采样频率为1 000 Hz。

MMG 信号读取采用四线制SPI 的通信方式,通过读取ADXL355 寄存器上的数值获取所需加速度数值。MMG 信号的发送方式为USART 发送,采用透传的方式发送到计算机的服务端,通信速率选用806 400 b/s。传输数据格式如表1所示。数据由帧头、四通道X,Y,Z数据和帧尾共224 位数据组成。

图4 STM32 内部程序流程图Fig.4 Flow chart for internal procedures of STM32

表1 数据传输格式表Table 1 Formats of data transmission

2.2 Matlab数据接收上位机设计

手环在WiFi 通信接口是开放的,外界的设备可通过连接手环系统发出的WiFi 热点,接入手环系统自组的WiFi 网络,利用Socket 通信方式进行数据交换。基于Matlab 平台可编程性强、支持数据传输方式丰富等优势,本文使用计算机的Matlab 软件实现对数据的采集。

上位机设计包含两部分内容:图形用户界面(GUI)设计;上位机程序设计。界面设计图如图5所示,包含TCP 通信参数的设置、数据保存参数设置、实时显示参数设置及肌音信号实时显示界面。TCP 通信参数定义了从机的IP 地址和从机端口号,从而实现TCP 通信的建立;数据保存参数设置定义了需要保存数据的保存文件名、动作类型、动作组数及数据保存位置信息;实时参数设置包含了肌音信号实时显示界面中显示的通道参数设置。程序设计主要是实现用户界面按钮及参数设置实现相应功能的代码,其核心是对从手环系统传输过来的数据进行接收和验证。

3 肌音信号采集系统实验验证

3.1 实验对象和实验流程

实验中肌音信号采集的样本包括10 个肢体健全的人,男性 8 人,女性 2 人,年龄为 22~26 岁,均自愿参加本实验。受试者均为健康人群,具有完整的前臂肌肉组织,无前臂肌肉方面病史。

图5 Matlab 上位机界面图Fig.5 Interface diagram of upper computer with Matlab

在手部动作模式识别研究中,曹炜等人通过采集指总伸长肌(EDC)、桡侧腕屈肌(FCR)、尺侧腕屈肌(FCU)和桡侧腕长伸肌(ECR)四块肌肉上MMG 信号对手部6 种动作进行研究,识别效果显著[11]。因此本系统设计的四通道传感器环绕紧贴于这四块肌肉表面,在实验过程中的具体位置及系统实物图如图6所示。

图6 四通道传感器布置及系统实物图Fig.6 Picture of system and layout of four channel sensor

由于手语动作是一个包含手指运动、手腕运动和手势运动的组合动作,所以系统在验证其手语识别应用可行性时需对这3 类动作都进行验证。实验设计了3 类共18 组动作,手指运动包含拇指、食指、中指、小指、五指握拳和五指张开6 个基本动作;手腕运动包含上展、下展、外展、内展、外旋和内旋6 个基本动作;手势动作包含“你”“好”“我”“上”“们”“不”6个手语组合动作。18组动作图如图7所示。

图7 实验18 组手部动作实际图Fig.7 Pictures of hand actions in 18 groups

实验过程中,要求受试者坐在椅子上,将手肘平置在扶手上,进行上述定义的3 类动作。首先打开Matlab采集上位机,受试者根据语音提示重复循环执行各组规定动作,每组动作重复50次;每类动作持续25 min,类与类间休息10 min,最后获取到各类动作数据共18 个动作的MMG 信号。

3.2 实验结果

实验的目的是验证该套采集硬件在MMG 信号采集上的稳定性及采集到数据的准确性,评价方式为能否采集到稳定可靠的数据以及采集到的数据能否实现模式识别。

为了验证采集到数据的有效性,利用处理有线采集系统处理数据的方法对数据进行分析。本文提取动作小波包能量特征[12],利用支持向量机(SVM)实现对18 组动作的分类识别。随机选取600 组进行数据训练,选取300 组进行测试,10 组受试者的平均识别率结果如表2所示。实验中,10 名受试者的10 组动作的平均识别率达92.13%,从结果上验证了本套肌音信号无线采集系统采集到数据的有效性和其应用于手语识别领域的可行性。

表2 10 组受试者的手部动作平均识别率Table 2 Average recognition rate of hand action in 10 groups of subjects

4 结 语

本文设计一套基于MMG 多通道无线采集系统。硬件部分内容包括ADXL355 加速度传感器采集肌音信号,STM32 单片机以SPI 方式收集信号并将其发送到WiFi 模块,计算机以TCP/IP 的方式收集并保存肌音信号。软件部分,利用Matlab 的GUI 界面实时显示当前手语动作的肌音信号并保存。以该系统内容申请的国家发明专利已过初审。

本文以实验的方式对采集保存数据进行分析,提取采集到动作数据的小波包能量特征,利用SVM 算法分类,对18 个动作的平均识别率可达92.13%,能较好地实现手语动作的模式识别,验证了该套系统应用于手语识别领域的可行性。

采集手环系统质量轻,穿戴方便,可以方便地采集不同人的前臂肌肉振动信号。该设备不仅可以应用在手语识别领域,或亦可进一步改进后应用在其他模式识别控制领域。