面向智能轮椅脑机导航的高频组合编码稳态视觉诱发电位技术研究

Research on Key Technology on Time Series Combination Coding-basedHigh-frequency SSVEP in Intelligent W heelchair BCI NavigationXU Guanghua - ZHANG Feng WANG Jing XIE Jun LI Yeping ZHANG Sicong(1.School of Mechanical Engineering，Xian Jiaotong University，Xian 7 1 0049；2.State Key Laboratory for Manufacturing Systems Engineering，Xian Jiaotong University，Xian 7 1 0049)Abstract：A new steady-state visual evoked potential(SSVEP)paradigm for brain compmer interface system(BCIs)is proposed inorder to solve the problems of lower stability and information transfer rate(ITR)，duing to the shortages of target number less，easy tomake subjects fatigue and increase the risk of photosensitive epileptic seizures in the traditional low frequency SSVEP-BCIs.Thenew paradigm is time series combination coding-based high-frequency SSVEP(CCH-SSVEP).The CCH-SSVEP paradigm producesn with 月high stimulation frequencies through time series combination code in order to solve the problem of few targets in traditionalSSVEP-BCIs utilizing single frequency to encode each target.Furthermore，an improved Hilbert-huang transform(IHHT)-basedvariable frequency EEG feature extraction method and a local spectrum extreme target identification algorithm are adopted to extracttime-frequency feature of the proposed CCH-SSVEP response.Linear predictions and fixed sifting(iterating)10 times are used toovercome the shortages of end efect and stopping criterion of empircal mode decomposition(EMD)in the processing of variablefrequency EEG data，generalized zero-crossing(GZC)is used to compute the instantaneous frequency of the proposed SSVEPrespondent signals，the diferentiation combination method is proposed to select the combination coding sequence in order to increasethe recognition rate，in the result，the ITR and the stability of the CCH SSVEP.BCI system are Improved.What is more，SSVEPs·国家自然科学基金(51175412)和高等学校博士学科点专项科研基金(20110201110022)资助项目。20121205收到初稿，20130301收到修改稿机 械 工 程 学 报 第 49卷第 6期evoked by high.frequency stimuli(beyond 25 Hz)minimaly diminish subjectS fatigue and prevent safety hazards linked tophoto.induced epileptic seizures，utilizing the flicker fusion efect.Six stimulus targets are presented with three high frequenciesthrough CCH.SSVEP，as a contrast，three stimulus targets are presented with three low frequencies through traditional SSVEP，theabove two kinds of diferent contrast experiments are applied to intelligent wheelchair navigation control in order to verify thetechnical advantage of the proposed method and ensure the CCH-SSVEP-based inteligent wheelchair navigation system eficiencyand undamaging。

Key words：Intelligent wheelchair Brain-computer interfaces(BCI) Steady-state visual evoked potentials(SSVEP)Time series combination coding-based high-frequency(CCH) Improved Hilbe-huang transform(IHHT)0 前言脑-机接口技术[1J(Braincomputer interface，BCI)作为-种实现大脑和外部设备(计算机或外界环境等)之间的信息直接通信技术，近年来得到了突飞猛进的发展，已经在生物医学L2J、虚拟现实 J、游戏娱乐L4J、康复工程 以及航天、军事L6J等领域体现出重要的价值↑来，人们开始尝试将 BCI应用于轮椅控制 J，建立-种全新的、不依赖于外周神经和肌肉的交流和控制通路，通过大脑意念控制轮椅，研究所谓基于脑.机接口的智能轮椅，使得重度瘫痪和重度肢体残疾病人，如肌萎缩，自行操纵轮椅成为可能。

稳态视觉诱发电位 (Steady state visual evokedpotential，SSVEP)是大脑视觉系统对外部持续周期性视觉刺激的响应，是BCI系统中常用的输入信号，相比P300、事件相关电位、自发脑电信号等方法，SSVEP具有操作简单、记录电极少、训练时间短、信 息传输率较高及抗干扰能力较强等优点 ，1979年 REGANl 发表了 SSVEP-BCI的第-篇公开出版物，提出采用基于 SSVEP振幅选择刺激模式的 闭环 反馈 控 制 BCI系 统 ；随 后 ，美 国的MIDDENDORF等u刮开发了-个基于SSVEP的BCI系统，用户通过简单的注视来选择计算机屏幕上两个闪烁的按钮，带动了SSVEP-BCI技术的发展。经过 3O年的研究发展，基于 SSVEP.BCI系统在工程应用领域已经受到世界各国科研人员的广泛关注，国内的 BCI研究起步稍晚，开始于 20世纪 90年代末，清华大学CHENG等Ll副最早介绍了该团队的SSVEP-BCI应用系统，应用于二维光标的运动控制。上夯通大学、电子科技大学、西安交通大学、天津大学等也陆续开展了相关领域的工作↑来，人们开始研究 SSVEP应用于智能轮椅的脑-机接口控制 J，表现出良好的应用前景和价值。

目前-般的 SSVEP.BCI系统常规采用 6～25Hz的低频段，基本都是单频率单任务模式呈现，刺激范式单-；同时由于目标呈现的频率区域、频率分辨率和响应幅值的限制，仅可以使用有限的频率来有效呈现任务目标，限制单-频率呈现的任务目标数；加之低频 SSVEP的频带和自发脑电 alpha波的频带有很大 的重叠 ，容易引起假阳性误操作J引。另外，在实际应用中，低频段 SSVEP的闪烁刺激容易造成受试者产生视觉疲劳，甚至诱发癫痫，因此无法保证系统应用的舒适性和长时间使用的有效性。

近年来，高频 SSVEP成为 BCI领域的国际前沿探索。其刺激频率范围可达 3060 Hz或更高，已经接近人眼的光驱动临界频率。因此，与低频刺激明显不同的是高频刺激会产生闪烁熔合效应J，也就是说使用者主观上已经感觉不到闪烁，但在脑电中仍可检测到SSVEP的高频响应，这样就大大降低了视觉疲劳和诱发癫痫的可能性；尽管高频SSVEP幅度较低，但该频段内自发脑电的背景幅度也很低，因此仍然具有-定的信噪比，可以保障信号的辨识准确率。高频 SSVEP尚处于研究初期，研究成果报道较少，2001年，HEI MANN 研究了高频闪烁在视觉皮层响应机理和电位相关性，奠定了高频 SSVEP研究的基础；20052009年，清华大学WANG等 21探索了高频SSVEP.BCI的可行性，西安交通大学针对高频段 SSVEP，前期也做了-些探索性研究并申请专利LZ川。以上研究初步证实了高频 SSVEP可以极大地降低视觉疲劳和其信号正确可辨的特性，尽管高频 SSVEP无法大量增加可呈现的目标数，同时其信号微弱更增加信号处理的难度，但其良好的无损特点和短时间有效刺激能力，为研究使用的SSVEP-BCI技术奠定了良好的基矗本文针对现有 SSVEP.BCI系统的范式简单、目标数目少造成传输速率不高的缺点，以及SSVEP低频刺激容易诱发受试者疲劳或癫痫等不足，利用高频SSVEP突出的刺激响应优势，在前期多频率组合编码研究z J的基础上，提出基于高频组合编码稳态视觉诱发电位(Combination coding-based high-frequency-SSVEP，CCH.SSVEP)方法，通过有效高频组合形成刺激单元来提升目标呈现数，并有效降低视觉疲劳影响；同时针对组合频率信号，通过改进的希尔伯特.黄变换(Improved Hilben。huang机 械 工 程 学 报 第49卷第6期CCH.SSVEP的具体范式设计如图 2所示，在SSVEP响应高频段，即闪烁频率高于25 Hz，选择n个刺激频率，n为大于 1的整数，将 n个刺激频率经时序排列组合形成的 n 个刺激序列通过计算机屏幕呈现在受试者面前，并对刺激序列编码形成编码库。n个刺激频率构成排列组合的n个基本元素，每个频率的呈现由20个周期的屏幕帧图像的亮和灭表示，对 n个刺激序列按照时序先后进行排列组合，形成-个刺激序列串，该刺激序列串便包含多个具有时序关系的刺激频率，通过n个刺激频率最多能形成 /， 个不同的刺激序列串，对应于 n 个呈现 目标，在-次 目标识别任务中共呈现 10个刺激序列串。为了验证范式的合理性并不失-般性，试验中选择 n3，因此通过 3个刺激频率最多能形成 27个不同的刺激序列串，对应于 27个呈现目标。

3 基于 IHHT变频脑电信号特征提取基于 CCH.SSVEP的高频刺激序列所形成刺激响应，自然包含了组合编码的时序特征，从信号处理角度出发，该脑电响应信号为变频信号，加之脑电信号都会存在幅度干扰，因此需要辨识的信号为典型的变幅变频非线性非平稳信号，传统的频谱方法难于有效提取其特征，为此，采用基于改进希尔伯特.黄变换[25-26]来实现变频脑电信号的特征提取及局部频谱极值目标辨识方法(图3)。

不同刺激序列的CCH-SSVEP响应叠加平均20，45]；J1]i滤波EMD分解相关IMF瞬时频率GzCHilbert时频谱局部频谱极值目标辨识切线预测法问题.1 l 姒 叭图 3 基于 IHHT变频脑电信号特征提取与辨识方法3.1 IHHT算法HHT是-种自适应的信号处理方法，非常适合处理非线性、非平稳信号，被广泛应用于机械信号处理中 。 。这种方法包括两个过程：经验模式分解(Empircal mode decomposition，EMD)和 Hilben变换。其中最关键的部分是 EMD方法。EMD方法基于信号的局部特征时间尺度，能把复杂信号分解为本征模式函数(Intrinsic mode function，IMF)之和，每-个 IMF所包含的频率成分不仅与分析频率有关，而且最重要的是随信号本身变化而变化，因此，非常适合处理高频组合编码 SSVEP新范式所获得的脑电刺激响应信号pU。 J。

如图3所示，基于 IHHT变频脑电信号特征提取与辨识方法具体包括以下步骤。

(1)对采集到的脑电数据进行叠加平均，提高信噪比，得到预处理的脑电数据。

(2)对预处理的脑电数据进行带通滤波，得到滤波后的脑电数据。

(4)根据 EMD分解结果，选择目标频率所在频段的IMF重构数据。

(6)根据瞬时频率 ，进而得到脑 电数据 的Hilbert时频图。

在算法实施过程，需要对关键算法进行选择与优化才能保证变频脑电信号特征的有效提取，具体方法如下所述。

(1)EMD端点的预测方法优眩EMD算法中核心之-是靠上下包络求平均值，而上下包络线是极值点的样条曲线拟合的得到的。在曲线拟合中存在最后-个极值点和端点之间如何找到合适拟合曲线的端点问题。针对变频脑电的 EMD端点问题，采用边界预测法和传统方法进行对比。

边界预测法，如图4所示，即选择 1阶近似点作为最后端点，通过理论和实际数据 的分析得知 引，既符合三次样条曲线拟合的条件，又使得拟合曲线波动最校在图5中，通过采用边界预测点方法和传统方法的三次样条曲线拟合的上包络曲线在端点处的对比可知，采用边界预测法拟合的上包络曲线在端点处波动较小，因此本文采用切线预测法解决端点问题。

边界预测法确定的极值aomaxlal，Ja21 (2)2013年3月 徐光华等：面向智能轮椅脑机导航的高频组合编码稳态视觉诱发电位技术研究 25(a)极大值情况(1)(b)极大值情况(2)(c)极小值情况(1)时间。 时间(d)极小值情况(2)图4 边界预测法端点a1-阶近似点 2靠近端点的两个极值点直线延拓和通过端点纵轴的交点 边界预测法确定的最后的极值点a00 O 5 l 0 l 5 2 0 2.5 3.0时间/s图 5 端点问题不同方法处理结果对比(2)EMD停止准则参数的应用选择。EMD算法是-个筛选的过程，筛选的数学公式如式(3)所示(f)∑Ci)- ，l f -壹%1 (3) (f∑ ∑∑ ) ∑ ljl i2jl l ，式中 x(f)- 待分解信号ci- -EMD第 f次分解后的IMF信号n--EMD第 f次分解后 IMF个数m --第 f次筛选过程通过上下包络计算得到的第，个平均值曲线盔--第 f次筛选过程中的筛选次数EMD 算法应用中另-个核心问题是每次筛选的结束条件如何选择，即停止准则问题。

理论分析得知 EMD本质上是-个二进制的半带滤波器，相当于-个二进制的小波，为了保证筛选出的 IMF在幅值和频率上都具有足够的物理意义，即保证相邻IMF尺度之比接近2，对筛选过程的次数k必须加以限制。

针对 EMD停止准则的应用选择问题，本文采用固定筛选次数，并选择 -。：砖10(相邻 IMF尺度之比为2时的筛选次数)。这样选择优势如下34]：①保证EMD本质上是半带滤波器组；② 保持信号本身物理特性；③ 分解结果的单元数目c是有限的(c≤lb 。

(3)瞬时频率计算方法选择。基于Hilbert变换获得有意义瞬时频率的条件如下：数据必须是IMF；信号的幅值不能变化太大(Bedrosian理论的限制)；信号的相位不能太复杂(Nutal理论的限制)。因此，针对变频脑电信号，选择广义过零点(Generalizedzero-crossing，GZC)算法计算瞬时频率，如图 6以及式(4)所示。

瞬时频率： .(4) J 1 ，1式中 寿1厂2l fl，2二 2i1f ÷ 1，2，3，44f 零点与峰值之间的时间段厂 / 、 时陌 .H - ，Tz I I l ，t： ! 4五3 r 暇 I -： -：d l I I I I I图 6 基于 GZC计算瞬时频率的示意图GzC 算法基于平均的思想，相对来说稳定性高、计算准确，但由于GZC频率分辨率差，因此适合与频率波动不大的情况。而本文中的高频时序组合编码脑电数据中的变频信号特征为分段平稳，因此满足 GZC的应用要求。

(4)局部频谱极值目标辨识方法。相关IMF重构数据根据总时长平均分3段，分别求其FFT频谱，并计算频谱极值，假设x为频谱极值，将获得的频加 O m ∞> 避颦机 械 工 程 学 报 第49卷第 6期Brain-computer interface technology：A review of thesecond international meeting[J].IEEE Transactions onNeural Systems an d Rehabilitation Engineering，2003，lr2)-94。

[3BAYLISS J D，BALLARD D H.A virtual reality testbedfor brain-computer interface research[J]. IEEETransactions on Rehabilitation Engineering，2000，8(2)：l88.190。

4COYLE D，GARCIA J，SATTI A R.EEG-basedcontinuous control of a game using a 3 channel motorimagery BCI：BCI game[C]/ IEEE Symposium onComputational Inteligence，Cognitive Algorithms，Mind，and Brain，April l1.15， 2011， Paris.Fran ce： IEEEComputer Society，201 1：88-94。

[5]ANG K K，GUAN C，SU/G C K.A clinical study ofmotor imagery·-based brain-computer interface for upperlimb robotic rehabilitation[C]//Proceedings of the 3 1 stAnnual International Conference of the IEEE Engineeringin Medicine and Biology Society：Engineering the Futureof Biomedicine，September 2-6，2009，Min eapolis，MN，United States：IEEE Computer Society，2009：5981-5984。

[6YANG G，ZHAO L，CUI S.Brain·computer interfacebased camera carrier in aerospace[C]/Proceedings of the2009 IEEE International Conference on Automation andLogistics，August 5-7，2009， Shenyan g，China：IEEEComputer Society，2009：1877-1882。

Self-paced(asynchronous)BCI control of a wheelchair invirtual environments：A case study with a tetraplegic[J]。

Computational Intelligence and Neuroscience， 2007，79642.1-79642.8。

[8ITURR ATE I， ANTELIS J M， KUBLER A. Anoninvasive brain.actuated wheelchair based on a P300neurophysiological protocol and automated navigation[J]。

IEEE Transactions on Robotics，2009，25(3)：6 14·627。

[9VIALATTE F，MAURICE M，DAUWELS J.Steady-statevisualy evoked potentials：Focus on essential paradigmsand future perspectives[J].Progress in Neurobiology，2010，90(4)：418-438。

Brain-computer interfaces based on visual evokedpotentials[J].IEEE Engineering in Medicine and BiologyMagazine，2008，27(5)：64-71。

[11]REGAN D.Electrical responses evoked from the humanbrain[J].Scientific American，1979，241(6)：134-146。

Brain-computer interfaces based on the steady-statevisual-evoked response[J]. IEEE Transactions onRehabilitation Engineering，2000，8(2)：21 1-214。

[13CHENG Ming，GAO Shangkai.An EEG-based Cursorcontrol system[C]//Annual International Conference ofthe IEEE Engineering in Medicine and Biology ，October13-16， 1999，Atlanta，GA，USA：IEEE，1999： 669。

[14MANDEL C，LUTH L LAUE Navigating a smartwheelchair with a brain-computer interface interpretingsteady·state visual evoked potentials[C]//IEEE/RSJInternational Conference on Inteligent Robots an dSystems，October 11-15，2009，St.Louis，MO，UnitedStates：IEEE Computer Society，2009： 1118-1125。

[15XU Zhuo，LI Jie，GU Rong，et a1.Steady-state visualyevoked potential(SSVEP)·-based brain-computer interface(BCI)：A low-delayed asynchronous wheelchair controlsystem[C]//19th International Conference on NeuralInformation，November 12-15，2012，Doha，Qatar：Springe2012，7663： 305-3 14。

16DANHUA Z，JORDI B，GARY G M，et a1.A survey ofstimulation methods used in SSVEP-based BCIs[J]。

Computational Inteligence and Neuroscience， 2010，2010： 702357.1.7023571.12。

[17CORNSWEET T N.Visual perceptionM].New York：Academic Press，1 970。

[18HERRMANN C S.Human EEG responses to 1-100 Hzflicker：Resonance phenomena in visual cortex an d theirpotential correlation to cognitive phenomena[J]。

Experimental Brain Research，2001，137(3)：346-353。

Brain·-computer interface based on the high-·frequencysteady-state visual evoked potential[C]// FirstInternational Conference on Neural Interface an dControl，M ay 26-28，2005，Wuhan ，China，Institute ofElectrical an d Electronics Engineers Inc.，2005： 37-39。

Detection of hi gh frequency steady state visual evokedpotentials for brain-computer interfaces[C]// 1 7thEuropean Sign al Processing Conference，August 24-28，2009，Glasgow，Scotlan d：EUSIPCO，2009： 646-650。

High-frequency SSVEP responses parametrized bymultichannel matching pursuit[C]//Neuroinformatics，September 6-8，2009， Pilsen，Czech Republic，Epub，2009：64.65。

[22HOFFMANN U E Brain-computer interface based on2013年 3月 徐光华等：面向智能轮椅脑机导航的高频组合编码稳态视觉诱发电位技术研究high frequency steady-state visual evoked potentials：Afeasibility study[C∥ 4th International IEEE/EMBSConference on Neural Engineering，April 6-M ay 8，2009，Antalya，Turkey，IEEE Computer Society，2009：64-65。

[23徐光华.基于HHT高频组合编码稳态视觉诱发电位脑机接口方法：中国，201010528266.5[P].201 1-05-18。

XU Guanghua.聃 T.based high-frequency combinationcoding SSVEP-BCI： China， 201010528266.5[P]。

XU Guanghua.Time series combination coding-basedmuti-frequency SSVEP-BCh China，201010191 598.9P]。

[25HUANG N E，SHEN Z，LONG S et a1.The empiricalmode decomposition and the Hilbert spectrum fornonlinear and non-stationary time series analysis[J]。

Proceedings of the Royal Society of London，Series A：Mathematical，Physical and Engineering Sciences，1998，454(1971)：903-995。

[26]HUANG N E，SHEN S S.The Hilbert-Huang transformand its applications[M].Singapore：World ScientifcPublishing Company，2005。

[27雷亚国.基于改进 Hilbe-Huang变换的机械故障诊断[J].机械工程学报，201 1，47(5)：71-77。

LEI Yagn o.Machinery fault diagnosis based on improvedHilbeg-huang transform[J]. Journal of MechanicalEngineering，2011，47(5)：71-77。

[28胡爱军，安连锁，唐贵基.Hilbe-Huang变换端点效应处理新方法[J].机械工程学报，2008，44(4)：154-158。

HU Aijun，AN Liansuo，TANG Guiji.New processmethod for end efects of HilbeR-huang transform [J]。

Chinese Journal of Mechanical Engineering，2008，44(4)：154.158。

29于德介，程军圣，杨宇.Hilbe-Huang变换在齿轮故障诊断中的应用J].机械工程学报，2005，41(6)：102-107。

YUDejie，CHENG Junsheng，YANGYu.ApplicationofHilbert-huang transform method to gear fault diagnosis[J].Chinese Journal of Mechanical Engineering，2005，41(6)：102-107。

[30]SwEENEY REED C M，NASUTO S J.A novel approachto the detection of synchronisation in EEG based onempircal mode decomposition[J]. Journal ofComputational Neuroscience，2007，23(1)：79-l11。

[3 1LI Xiaoli.Temporal structure of neuronal populationoscilations with empirical model decomposition[J]。

32]LI Xiaoli，LI Duan，LIANG Zhenhua，et a1.Analysis ofdepth of anesthesia with Hilben-Huan g spectralentropy[J].Clinical Neurophysiology，2008，119(11)：2465.2475。

[33WU Zhaohua，HUANG N.Ensemble empircal modedecomposition：A noise-assisted data analysis method[J]。

Advances inAdaptive DataAnalysis，2009，1(1)：1-41。

[34WANG Gang，CHEN Xiaoyao，QIAO Fangli.On intrinsicmode function[J].Advances in Adaptive Data An alysis，2010，2(3)：277-293。

作者简介：徐光华(通信作者)，男，1964年出生，博士，教授，博士研究生导师。主要研究方向为故障诊断和脑-机接口技术。

E-mail：XRgh###mail.xjr..edu.L'n张锋，男，1985年出生，博士研究生。主要研究方向为脑·机接口及智能轮椅导航控制。