跳到主要内容

一种从初级运动皮层局部场电位信号(M1)解码连续力的堆栈LSTM结构

抽象的

背景

脑-机接口(BCI)将神经系统的活动转换为可由外部设备解释的控制信号。使用连续电机BCIs,用户将能够连续控制机械臂或残疾肢体。除了解码目标位置,力振幅的准确解码对于设计能够执行抓取等精细动作的BCI系统至关重要。在本研究中,我们提出了一种堆栈长短时记忆(LSTM)神经网络,该网络能够使用三只自由运动的大鼠的局部场电位(LFP)信号准确预测其施加的力幅度。

结果

将该网络的性能与偏最小二乘(PLS)方法进行了比较。三只大鼠的平均相关系数(r)在PLS中为0.67,在基于LSTM的网络中为0.73,确定系数为(\(R^{2}\)PLS和基于LSTM的网络分别为0.45和0.54。网络能够准确地解码力值,而不明确地使用输入特征中的时间滞后。另外,由于从输出非线性受益,所提出的方法能够非常准确地预测零力值。

结论

所提出的堆栈LSTM结构能够精确地从LFP信号预测施加力。除了更高的准确性外,这些结果是在没有明确使用的输入特征中明确地实现的结果,这可能导致更准确和更快的BCI系统。

背景

脑计算机接口(bci)的出现有望恢复残疾肢体的运动或控制人工效应器[1.,2.]. 在BCI系统中使用了各种具有不同程度侵袭性的信号记录方法;尽管侵入性很强,皮质内记录的运动相关信息和信噪比最高[3.]. 皮质内神经数据,通常是神经元的尖峰时间序列或放电率,用于连续控制人工效应器的运动或刺激残肢。然而,长时间记录峰值可能是一项挑战。接收到的峰值数量随着时间的推移而减少,并降低BCI系统的功能。此外,峰值以高采样频率记录,这增加了记录设备的复杂性和成本。因此,局部场势(LFP)被用作更稳定和更简单的信息源[4.].是个LFP低频电压波动,它被认为是相关的记录电极附近的突触后电流的活性[5.].许多研究表明,可以使用来自多通道LFP信号的光谱特征来解码运动相关参数[6.,7.].例如,手在二维和三维空间中的连续位置都是通过从运动皮层M1区记录的LFP信号进行解码的[8.].然而,许多日常活动,如抓握,需要控制施加到物体的力的精确值。因此,能够从脑信号解码力相关信息是有用的。一些研究[911]使用从运动相关区域记录的ECoG信号来预测力的幅度。在为数不多的使用LFP进行强制解码的研究中,Milecovic等[11]在掌握任务期间使用了100 LFP通道来解码适用于每个手指的准确力。Khorasani等。仅使用16个LFP通道(本研究中使用的相同数据),以解码由自由移动RAT施加的力值[12].

所有神经数据(包括LFP)都是高度动态的,非线性的,具有低信噪比。这些挑战性的神经数据特征使得研究人员使用各种信号处理和机器学习方法来实现来自神经数据的解码运动相关参数的更高性能。例如,Khorasani等提出了一种新的自适应伪影消除技术,以增强信号质量,在BCI中实现更高的性能[13]. Foodeh等人引入了从记录的神经信号中移除伪影的最小噪声估计(MNE)滤波器[14].Marathe等人用于连续BCI系统中的特征提取的改进的公共空间模式(CSP)技术[15].奔驰等提出了一种基于连续bci连接分析的特征提取模式[16].庄等人采用卡尔曼滤波器作为译码器,考虑了BCI输出的动态特性[8.].郑立等.,和Simin Li等人.,将Unspeded Kalman滤波器修改为非线性估计的运动相关参数[17,18]. Shimoda等人使用偏最小二乘(PLS)回归对三维手轨迹进行解码,以处理特征空间的高维性[19].van Gerven等引入稀疏正交归一PLS作为扩展到普通PLS,这可以同时执行特征选择和回归[20.].

在设计BCI解码系统的所有复杂性中,处理特征空间的大维度,学习数据的内在动态,并找到神经数据和目标移动参数之间的可能的非线性映射似乎是成功的BCI解码模型所必需的.然而,在大多数情况下,所提出的方法未同时解决这些挑战。例如,许多回归方法,如线性方法的系列,既不能找到数据的内在动态,也不能找到输入和输出之间的非线性映射。因此,为了解决内在动力学的问题,将多次数据样本添加到特征中。尽管如此,关于非线性映射仍然存在的问题,并添加以前的时间样本也增加了特征空间的维度。因此,考虑一种非线性方法是自然的,其中先前的相关特征被自动用于预测当前目标值。经常性神经网络具有上述特征。

经常性神经网络(RNN)可以学习数据的内在动态。但是,由于渐变消失,来自过去样本的信息不能容易地达到当前样本[21]. 为了解决这个问题,人们引入了新的结构,包括长短时记忆(LSTM)和门循环单元(GRU)[22].长短期内存网络具有额外的路径,用于将相关信息从先前的样本转移到更近期的路径。与经典的经常性神经网络不同,LSTM对梯度消失更加强大,并且在自然语言处理和时间序列预测中具有相当成功的。预计这些网络也可以在神经数据中学习相关信息。例如,Belo等人。[23使用基于GRU的结构,用于合成包括心电图(ECG)和肌电图(EMG)的多种生物信号(EMG),目的是去噪,分类和产生(再现)的EMG和ECG信号。此外,在另一个情况下,LSTM网络用于预测手动运动学[24].不幸的是,与自然语言处理不同,BCI相关数据集中有很少的数据样本。因此,LSTMS易于过度接收到训练数据。除了正则化之外,辍学层被证明是在控制过度装备问题的情况下有用[25].在本研究中,基于LSTM的神经网络用于从LFP数据的光谱特征解码力幅度而不直接使用特征中的时间滞后。将结果与部分最小二乘(PLS)方法进行比较。

结果

使用七倍交叉验证进行评估网络。在此方法中,数据分为7个分区,每次,6个分区都用作列车和剩余分区作为测试数据。此过程重复7次,最终性能是所有7倍的平均性能。PLS评估中使用了同样的火车和测试数据。LSTM网络的超参数和PLS的组件数量被优化,如每个折叠的方法部分所述。

预测精度

相关系数(r)和确定系数(\(R^{2}\)在表中的所有迭代中据报道,据报道1.2., 分别。在两个表中1.2.,最高值是斜体。在相关性方面,对于大鼠1,大鼠2和大鼠3的所有7倍,大鼠0.7±0.05,0.6±0.06,0.71±0.02的平均值,对于10次滞后,0.74±0.05,0.70±0.05和0.75± 0.03 for LSTM Network respectively. The statistical significance of the results was tested using the Wilcoxon signed-rank test p < 0.01. In terms of coefficient of determination (\(R^{2}\)),the mean value of 7 folds for rat 1, rat 2 and rat 3 are 0.44 ± 0.06, 0.43 ± 0.1 and 0.49 ± 0.05 for PLS and 0.52 ± 0.08, 0.49 ± 0.09 and 0.54 ± 0.06 for LSTM Network respectively with statistical significance p < 0.05 (Wilcoxon signed-rank test). These results indicate that the LSTM Network was able to predict the force value more accurately. For additional evaluation of prediction accuracy, we also evaluated the network with 7-times 7-folds cross-validation, and the significance of the results was evaluated for each rat (see Additional file1.).

表1所有大鼠和7个折叠的LSTM网络和PLS(10 leags)的相关系数
表2 LSTM网络和PLS(10滞后)的决定系数,所有大鼠和7倍

为了更好地对预测进行可视化,三个预测具有最高的(\(R^{2}\))在图1中绘制的值。1..比较LSTM和PLS预测的力值,以及观察力值。蓝线表示真正的力量值,红色和绿色线条分别由PLS和LSTM进行预测。对于每个RAT,绘制了具有最高解码精度的折叠。如图1中所见1.,LSTM能够更准确地遵循真正的力量值。

图。1
图1

LSTM的预测力值和三个大鼠的PLS。蓝线表示真正的力值,红色和绿线分别是PLS和LSTM预测。A.Rat 1: r = 0.82 and\({\文本{R}} ^ {2} = 0.68 \),B老鼠2:r = 0.77和\({\ text {r}} ^ {2} = 0.59 \),C大鼠3:r = 0.80\({\text{R}}^{2}=0.62\)

汽车过滤

为了评估汽车过滤器的效果,预测力值一次,用在LFP信号上施加汽车滤波器一次,一次没有车过滤器。研究了PLS和LSTM网络和所有大鼠的汽车过滤器的效果。结果显示在表格中3.4..结果表明,CAR滤波器的使用提高了PLS和LSTM网络的预测精度。这种改善对PLS和LSTM均有显著性意义(p < 0.05所有大鼠和所有折叠组合的Wilcoxon符号秩和检验)。

表3 LSTM网络和PLS的相关系数,有和没有汽车过滤器
表4带和不带CAR滤波器的LSTM网络和PLS的确定系数

时间滞后在PLS预测中的贡献

为了研究时滞在PLS预测中的作用,对不同时滞数的PLS进行了评估。考虑10个时间滞后,得到了最佳结果。无花果。2.,确定系数(\(R^{2}\))示出了具有不同时间滞后的PLS预测。对于大鼠1(\(R^{2}\))预测值从0.44±0.06至0.25±0.13显着降低;对其他大鼠观察到相同的图案。总之,10时间滞后预测的值与没有时间滞后的值显着不同(P <0.01 Wilcoxon签名 - 秩测试),这表明在以前的样本中存在相关信息。

图2
图2.

决定系数\(({\text{R}}}^{2})\)PLS的预测是从不同数目的时间滞后。Values from 10 time lags prediction differ significantly from values with no time lag (p < 0.01 Wilcoxon signed-rank test)

频带贡献

根据EQ计算每个频带的贡献。(16).所有7个折叠的贡献的平均值如图4所示。3..标准误差值可忽略不计;因此,没有显示。数字3.结果表明,频率越高,预测力值的贡献越大。

图3.
图3.

每个频带在LSTM预测中的贡献。图中显示了所有7次折叠的平均值。标准误差可以忽略不计,因此没有显示

替代细胞复发

对于所有上述分析,我们使用LSTM单元作为网络中的主要反复间块。然而,其他经常性细胞,如简单的RNN和GRU,也能够跨时间样本记住相关信息。为了比较这些复发细胞,我们培训并评估了具有三种类型的复发细胞的相同网络结构,即简单的RNN,GU和LSTM。基于LSTM的网络显示了三个大鼠的较高的测定系数(R2)(图。4.). 基于LSTM的网络中所有大鼠的平均值(R2)均显著高于基于GRU的网络(p < 0.05),单纯RNN为基础(p < 0.01)网络(Wilcoxon对三只7倍和三只大鼠进行了秩检验)。

图4.
图4.

测定与不同类型的细胞反复发作的网络系数。LSTM.-based network significantly outperformed GRU-based and Simple RNN-based networks with (p < 0.05) and (p < 0.01) respectively

替代回归模型

我们使用PLS作为回归的比较提出的基于LSTM神经网络的主要方法。此外,我们比较了支持向量回归(SVR)来自家庭的核心方法,以及随机森林PLS结果与合奏的学习方法自举。数字5.显示随机林,SVR和PLS回归的预测力值的确定系数(R2)。特征提取过程,时间滞后数量和验证对于所有方法都是相似的。与随机森林(P <0.01)和SVR(P <0.01)的方法(三只大鼠的WILCOXON签名 - 秩检验和7倍)相比,PLS回归具有较高的R2值

图5.
图5.

三种回归方法的确定系数。PLS回归显著优于SVR和Random Forest (p < 0.01)

讨论

时间滞后的功能

使用多个时滞特征是解码神经数据的常见做法。然而,这种时间延迟极大地增加了特征空间的维数。例如,在本研究中,从6个频段16个通道中提取了96个特征。维数将增加到960只有10个延迟。这一增量将大大增加过拟合的可能性。基于LSTM的网络,由于其内在的潜力携带来自前一个样本的相关信息,可以回忆起前一个LFP样本中的有用信息来预测当前的力观测,而不直接提供特征的时间滞后。因此,LSTM网络不容易出现大量特征引起的过拟合,在初始特征提取过程中不需要优化滞后次数。另一方面,如图所示。2.,PLS的解码性能与减少时间滞后的数量减少。

预计力值

如图所示。1.,LSTM网络可以预测零力值,但是PLS预测围绕零值波动。PLS和其他线性方法只能生成作为预测器的线性组合的输出值。因此,始终用最近的线性模型估计系统的非线性特性。另一方面,神经网络在这种情况下LSTM网络具有非线性组件(11),其结构可以在系统中模拟非线性。此外,可以以可以改善解码性能的方式选择输出层的激活函数。例如,在本研究中,将校正的线性单元(Relu)被刻意选择作为LSTM网络中的最后一层的激活函数。Relu将所有负值映射到零,并充当正值的简单线路,这使得网络更容易预测零力值。

每个频带的贡献

数字3.显示较高的频段,\(\beta\)(12-30 Hz),\(\gamma\)(30–120 Hz)和高-\(\gamma\)(120 ~ 200 Hz),对大鼠2和大鼠3的LSTM网络力值预测有较大贡献。在之前对同一数据集的研究中观察到了较高频带在神经解码中的重要性[12].

替代细胞复发

我们将所提出的网络结构与不同的复发细胞进行比较。LSTM单元表示最高的解码精度(图。4.).GRU和LSTM都是门控结构,并使用一种门控机制来记忆(忘记)相关(不相关)信息。然而,LSTM更高的准确性可能是因为LSTM利用了额外的路径来跨时间样本携带信息。正如预期的那样,简单RNN单元具有最低的解码性能,这是因为众所周知的梯度随时间消失的问题。

替代回归方法

除了PLS外,我们还检测了来自不同回归技术家族的其他两种回归方法的解码性能。与PLS相比,SVR和Random Forest的译码性能都较低。5.).我们认为,SVR和随机森林的表现是由于大量功能,因此,在训练数据集上过度拟合。另一方面,PLS具有用于减轻大量特征的内在机构,而不需要单独的特征选择或维度降低。

结论

在本研究中,我们引入了一个LSTM网络,它既可以学习数据的非线性,也可以学习数据的内在动力学。总体结果表明,LFP信号中含有丰富的信息,可用于解码力等精细动作,并能准确预测连续动作,可用于基于LFP的BCI系统。

方法

行为的任务

在本研究中,培训三种Wistar大鼠 - 培训200至300g之间的平均重量,以推动载荷电池(1 DOF)以便从旋转杆作为奖励接收一滴水。0和0.15n之间的施加压力在杠杆中线性映射到0-90°旋转。将负载电池放置在设置楼层上方10cm,并且由于负载电池的移动可忽略不计,因此在执行任务时,前肢的位置和取向是稳定的(图。6.).如果施加的力在载荷电池上超过0.15 n阈值,则在1.5秒的延迟之后,大鼠得到奖励。没有定义开始或最终提示;因此,每次试验的时序都是自发的。

图6.
图6.

实验设置。A.16个通道的原始LFP信号和一次任意试验。B带LPF同时记录力分布示于A.C实验设置,施加到传感器的力线性地映射到杠杆的旋转。如果施加的力达到0.15n.神经信号,则奖励大鼠,并同时记录施加的力

微阵列的结构

使用500μm铂/铱Teflone覆盖的电线(Microprobes Inc.,Gaithersburg,USA)构建了4×4微线距离,构建了500μm内线距离,拥有500-800 k\({\ omega} \)阻抗。

微阵列的植入

训练后,将微阵列植入三只大鼠的初级运动皮层(M1)。该阵列被放置在他们的优势手对侧。三只大鼠均用右手完成任务;因此,阵列被放置在左半球。手术首先给动物注射100 mg/kg氯胺酮和10 mg/kg甲苯噻嗪麻醉。麻醉深度通过捏脚趾和监测呼吸频率来确定。然后,在头部皮肤中线处做一个切口,并从头皮上取出所有组织,以便于接近头部骨骼。然后,标记Bregma、Lambda和正确的开颅位置。在lambda点后部放置一个螺钉和另外五个螺钉,分别连接地面和固定该区域。然后,使用大鼠脑图谱精确定位M1的前肢区域。在下一步中,将微阵列的中心植入Bregma前方1.6 mm,中线外侧2.6 mm,硬膜下1.5 mm深,覆盖所有前肢区域。最后,该区域用牙科丙烯酸密封。为了避免感染和减轻疼痛,术后两天内使用0.2mg/kg美洛昔康和5mg/kg异丙沙星。有关任务和手术的更多详细信息,请参见[12].

道德的考虑

所有大鼠都属于伊朗科学技术大学神经衰老和神经科学研究实验室,并在本研究中使用这些研究的使用被当地委员会批准和授权。完成研究后,通过暴露于CO使大鼠安乐死2.然后,根据NIH指南,在呼吸停止后继续气体暴露20分钟,确认安乐死。有关更多信息,请参阅道德审批和参与同意一节。

数据记录

手术两周后,大鼠被置于任务设置中。然后,同时记录神经和力数据。植入微阵列通过植入连接器连接到记录装置的前置放大器。初始采样率为10khz。通过对300-3000赫兹之间的信号进行滤波,然后手动对每个通道进行阈值设置,消除了尖峰。然后对0.1 ~ 500 Hz的信号进行滤波,下采样至1000 Hz提取LFP信号。力信号在5hz以上存在可忽略分量;因此,对力信号进行滤波,然后每秒钟向下采样10个样本。所有的过滤过程都是用四阶巴特沃斯滤波器进行的,包括正向和反向。如前所述,老鼠在任何时候都可以自由完成任务; 1 s before and 2 s after the 0.15 N threshold was considered as a trial.

数据预处理

每个试验的最终数据形状为3000×16的矩阵,分别代表时间样本(三秒钟的数据,采样率为每秒1000个样本)和通道。大鼠1、大鼠2和大鼠3的成功试验分别为74、79和80次。

第一步是通过在数据上执行汽车(公共平均参考)滤波器来消除噪声[26].在使用CAR时,我们假设噪声是存在于所有信道上的一个共同成分。因此,通过从每个信道中去除所有信道的均值,就可以去除常见的噪声。在两种译码方法中,使用CAR都可以提高译码性能。下一步,将信号分解为6个频段。滤波器带由\三角洲(\ \)(1-4 Hz),\(\theta\)(4-8 Hz),\(\α\)(8-12 Hz),\(\beta\)(12-30 Hz),\(\gamma\)(30–120 Hz)和高-\(\gamma\)(120-200 Hz)。然后,计算绝对值,并且通过具有150个样本窗口长度的第3次Savitzky-Golay滤波器平滑信号。使用savirzky-golay提高了解码,主要是因为它保留了信号中的局部最小值。接下来,通过减去通过标准偏差减去均值并将信号划分来居中和标准化。最后,将信号进行下采样,以均衡力和LFP样本的数量。现在,特征空间的维度为(6个过滤器带* 16通道= 96),用于每个数据样本。最后,对于每个试验,神经数据和目标力值将分别是大小(30,96)和(30,1)的矩阵。特征提取管线总结在图1中。7.

图7.
图7.

特征提取管道

PLS-独家预处理步骤

在PLS、SVR和随机森林算法中,为了预测当前时间样本,除了当前时间样本的特征外,还包括来自先前时间样本的特征。在本研究中,每个时间样本的预测包括10个样本时间滞后。因此,数据的维数将增加到(10个滞后*6个滤波器带*16个信道)960。

PLS模式

PLS的一般模型显示在(1.)及(2.). X和Y分别是预测矩阵和测量向量。在本研究中,X是(n:样本数量,m:特征数量)矩阵,包含所有时间样本的特征,y是(n:样本数量,1)力值向量。这里的目标是使用X预测y值。

$$ x = tp ^ {t} + e $$
(1)
$$ y = uq ^ {t} + f $$
(2)

在PLS中,与一般线性模型(如最小二乘法)不同,PLS不直接处理X和Y,而是使用它们的潜在变量。在我们的基础模型中,T和U是两个\(n \ times l \)矩阵,它们分别是X和Y的分数。P和Q是正交矩阵装载用的大小l \ \ (m \倍)\(p\乘以l\)分别。E和F两个i.i.d高斯随机变量。

一般来说,PLS试图用方差最大的方法来解释Y的潜变量,使用描述它的X的潜变量(它指的是Y的潜变量)是最好的。因此,该模型不需要特征选择,可以减少大量特征过拟合的可能性,是神经数据的理想选择。

在PLS回归问题中,最终目标是找到一个体重矢量\(\beta\)和截距\(\beta_{0}\)其线性关系到预测到的测量值,如图(3.).

$$ y = x \ beta + \ beta___ {0} $$
(3)

PLS方法有许多变体并解决了寻找加载和评分矩阵的方法。在这项研究中,我们使用了PLS-1方法,这是一种众所周知的和良好使用的方法,用于解决y是y的情况下的PLS回归问题。PLS-1以逐步的方式通过一个接一个地找到加载矩阵的列。可以在以下步骤中概括PLS-1:

步骤1:通过查找x和y之间的协方差最大化并命名为w的方向来找到初始加载权重。

$$瓦特= X ^ {T】ÿ$$
(4)

步骤2:查找投影第一得分列\(X\)\ (w \)并命名为\(t\)

$$ t = XW $$
(5)

第3步:通过投影X和Y在规范化的分数矢量上找到x和y的第一个加载向量\(t\)在步骤2中找到并呼叫他们\ (p \)\(q,\)分别。

$ $ \ p{对齐}开始& = X ^ {T} \压裂{T} {{T ^ {T} T}} \ \ q & = y ^ {T} \压裂{T} {{T ^ {T} T}} \ \ \{对齐}$ $
(6)

步骤4:删除第一个分数的所有信息和从x和y加载向量。

$$ \ {开始对准} X_ {新}&= X - TP ^ {T】\\ Y_ {新}&= Y - TQ ^ {T】\\?\ {端对齐} $$
(7)

第5步:跳转到步骤1并使用\(间{新}\)\(y_ {new} \)找到下一个加载和分数向量。然后,迭代\(l \)时间为所需数量的组件。最后,串联所有加载,得分和装载权重。步骤3中计算的所有Q值是标量;因此,Q值的串联将导致向量Q.

元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元元}\ right]\\\end{aligned}$$
(8)

步骤6:计算回归权重\(\beta\)和回归拦截\(\beta_{0}\)从步骤5中计算的计算矩阵。

$$\begin{aligned}\beta&=W\left({P^{T}W}\right){-1}Q\\\ beta{0}&=Q{1}-P{1}{T}\beta\\\\ end{aligned}$$
(9)

为了评估PLS模型的性能,我们使用了七重交叉验证。此外,根据Wold准则选择潜在变量的数量[27]显示在(10).按代表第一个时模型的预测错误\(l \)组件用于预测。

$$ r_ {wold} = \ frac {{reled \ left({l + 1} \ revent)}}}}}} {rellet \ left(l \ rice)} $$
(10)

Baibing等人的研究表明,与其他试图找到最优组件数量的方法相比,使用Wold准则可以提高模型的性能[28.].为了找到最佳组件数,我们通过列车数据进行了十倍的交叉验证,并考虑了最佳的组件数量\(R_ {沃尔德} \)达到0.9。大鼠1、2和3的最佳组份数分别为6、4和5。

LSTM模型

经典回归神经网络的启发,龙短时记忆网络接收数据样本顺序,并采用了最新的预测数据预测的下一个样品。古典RNNs有一个反馈环路带回输入网络的最新输出。这种结构设计导致各种问题,例如爆炸或网络的训练期间消失梯度。为了解决这些问题,LSTM网络共享一个额外的参数,电池状态,序列之间,让他们记得/忘记在序列的任何部分数据的重要/不相关特征的能力。

LSTM网络可以具有各种输入和输出结构层。例如,LSTM可以接收所有输入样本并在接收到所有输入样本结束时返回一个输出,或者它可以为每个输入样本产生输出。在这项工作中,因为它可以在图1中看到。8.,网络在序列中有一个输出。

图8.
图8.

展开的LSTM网络。LSTM的三个时间步长展开。在每个步骤中,LSTM接收新的输入,最后一次输出和最后一次携带并生成下一个输出和下一个携带

LSTM网络的配方可以在EQS中看到。(11), (12), (13).

$$ \ tilde {c} ^ {\ left \ langle t \ light \ rangle} = {\ text {tanh}}左({w_ {c} \ left [{y ^ {{\ left \ langle {t -1} \ \ \ rant \ rangle}},x ^ {\ left \ langle t \ right \ rangle}} \右]} \右)$$
(11)
$ $ \开始{对齐}{\伽马}_{你}& ={\文本{乙状结肠}}\离开({W_左{你}\ [{y ^{{\左\ langle {t - 1} \右\捕杀}},x ^{\左右\ langle t \ \捕杀}}\右]}\)\ \{\伽马}_ {f} & ={\文本{乙状结肠}}\离开({W_ {f} \离开[{y ^{{\左\ langle {t - 1} \右\捕杀}},x ^{\左右\ langle t \ \捕杀}}\右]}\)\ \{\伽马}_ {o} & ={\文本{乙状结肠}}\离开({W_ {o} \离开[{y ^{{\左\ langle {t - 1} \右\捕杀}},x ^{\左右\ langle t \ \捕杀}}\右]}\)\ \ \{对齐}$ $
(12)
$ $ \{对齐}开始C ^{\左右\ langle t \ \捕杀}& ={\伽马}_{你}\ odot \波浪号{C} ^{\左右\ langle t \ \捕杀}+{\伽马}_ {f} \ odot C ^{{\左\ langle {t - 1} \右\捕杀}}\ \ y ^{\左右\ langle t \ \捕杀}& ={\伽马}_ {o} \ odot C ^{\左右\ langle t \ \捕杀}\ \ \{对齐}$ $
(13)

x和y是数据序列和数据样本的一个值。\(W{c}\),\(w_ {u} \),f \ (W_ {} \)\(w_ {o} \)分别携带,更新,忘记和输出权重,它们将在培训过程中学习和\(\odot\)代表元素明智的产品。LSTM算法可以在以下步骤中概括。首先,使用电流输入样本和先前的输出样本,潜在的携带值,即,\(\代字号{C} ^ {\左\ langle吨\右\ rangle} \),使用(11).然后使用最后一个输出和电流输入,根据(()确定更新,忘记和输出门的值12).这些门可以在0到1之间具有值。例如,在极端情况下\({\ gamma} _ {u} \)= 1,f \({\伽马}_ {}\)= 0时,网络将完全忘记之前的值,并根据(13).然后,使用所述更新和忘记门,以当前步骤的最后进位值被计算。最后,估计的输出由电流进位值的点积和输出门来计算。在原来的模式,偏置值在方程考虑。(11)及(12)但在本研究中,由于偏差值对结果的影响可忽略不计,并减少了模型的可训练参数,因此消除了偏差值。此外,在LSTM结构的不同变体中,我们使用了香草LSTM结构,因为它表明其他结构在各种任务中没有表现出显著的性能改进[29.].该LSTM结构的概要示于图。9

图9.
图9.

LSTM结构。输入,输出和LSTM门和它们的连接

网络结构

本研究中使用的网络结构如图所示。10.该网络由两个连接到单个连接神经元的LSTM层组成。第一个LSTM层具有30个单元,并且该层中的过度装备通过前进和反复路径中的丢失来控制。此外,该层没有偏置术语。第二个LSTM层由15个单位组成,具有前进和反复丢失。第二层的输出完全连接到具有“relu”激活的单个神经元。完全连接的神经元的重量用L2-Norm调节,以减轻过度配合。

图10
图10.

网络结构。该网络由两个LSTM层和一个完全连接的神经元组成

使用Adam对网络进行了优化[30.优化器,我们设置\(\ beta_ {1} = 0.9 \)\(\ beta_ {2} = 0.999 \)如[30.].由于其对噪声的稳健性而选择了平均绝对误差。培训的时代数量,辍学率,批量大小和完全连接层的正则化值的数量是网络的超参数。七倍的交叉验证用于评估网络和PLS方法的性能。我们用个别试验培训了神经网络,并为PLS等方法,培训试验均衔接。在每个折叠中,20%的训练数据用于验证并选择超参数的最佳值。我们使用了贝叶斯优化工具箱,Hyperopt [31.],用于选择超参数的最佳值。贝叶斯优化器从超参数表中选择了最佳值的最佳组合(表5.)这在验证数据上显示了最佳性能。

网络的表5超参数和它们的可能值

替代方法

除了PLS外,我们还使用SVR和带自举的随机森林对LFP信号进行解码。SVR和Random Forest的特征提取和验证过程与PLS相同,对于SVR,我们使用RBF核与核系数\(\ gamma = \ frac {1} {num特征} \).我们在训练数据上选择了对五倍交叉验证的正则化参数(c)。至于随机森林,我们考虑最大数量的100棵树数和最佳分裂的最大功能数被选择为特征数量的平方根。

性能标准

相关系数(R)和测定系数(\(R^{2}\))用于评估模型的性能。相关系数显示了观察和预测值之间的总体相似性。另一方面,确定系数可以示出预测值中存在观察到的数据中的大大方差。(r)和(\(R^{2}\))在表示(14)及(15) 分别。

$$ R = \压裂{{\ mathop \总和\ nolimits_ {I = 1} ^ {N} \左({Y_ {I} - \代字号{Y}} \右)\左({\帽子{Y}_ {I} - \ widetilde {{\帽子{Y}}}} \右)}} {{\ SQRT {\ mathop \总和\ nolimits_ {I = 1} ^ {N} \左({Y_ {I}- \代字号{Y}} \右)^ {2}} \ SQRT {\ mathop \总和\ nolimits_ {I = 1} ^ {N} \左({\帽子{Y} _ {I} - \ widetilde {{\帽子{Y}}}} \右)^ {2}}}} $$
(14)
$ $ R ^{2}{} = 1 - \压裂{{\ mathop \总和\ nolimits_ {i = 1} ^ {n} \离开({y_{我}- \帽子{y} _{我}}\右)^ {2}}}{{\ mathop \总和\ nolimits_ {i = 1} ^ {n} \离开({y_{我}- \波浪号{y}} \右)^ {2}}}$ $
(15)

在这个公式中,\(义}\)是目标值的第i个样本\(\tilde{y}\)是目标值的平均值。以相同的方式,\(\ hat {y} _ {i} \)是预测值的第i个样本和\(\ widetilde {{\ hat {y}}} \)是预测值的平均值。

每个频带的贡献

第一LSTM层的权值包含了神经数据中每个特征对力值预测的贡献信息。因此,根据(16),添加与每个频带相关的权重的绝对值,然后通过所有权重的绝对值之和归一化。在所有验证折叠中计算并平均贡献值。

$$C{band}=\frac{{\mathop\sum\nolimits{channel=1}{16}\left}{W{band,channel}\right}{mathop\sum\nolimits{channel=1}{16}\mathop\sum\nolimits{band=1}{6}\left}W{band,right}$$
(16)

执行

使用Keras API来实现神经网络模型在Tensorflow中实现了[32.].我们在Python 3.8中实现了PLS模型,并使用了Python Machine学习API,Scikit-reash [33.]对于SVR和随机林。

可用性数据和材料

本手稿中分析的数据集不公开。但是,本研究所用数据可根据合理要求提供。访问数据集的请求应提交给MRD,daliri@iust.ac.ir.

缩写

BCI:

脑-机接口

CSP:

常见的空间模式

心电图:

电灰度图

emg:

电灰度图

GRU:

门控循环单元

LFP:

本地现场潜力

LSTM:

长期短期记忆

外资企业:

最小噪音估计数

请:

偏最小二乘

雷卢:

整流线性单位

RNN:

经常性神经网络

参考

  1. 1.

    Hochberg LR、Serruya MD、Friehs GM、Mukand JA、Saleh M、Caplan AH等。四肢瘫痪患者对修复装置的神经整体控制。自然。2006;442(7099):164–71.

    CAS文章谷歌学术

  2. 2.

    Truccolo W,弗里厄斯总经理,多诺霍JP,霍奇堡LR。四肢瘫痪患者的初级运动皮层调谐到预期运动运动学。神经科学杂志。2008;28(5):1163–78.

    CAS文章谷歌学术

  3. 3。

    TAM W,WU T,ZHAO Q,Keefer E,Yang Z.来自神经信号的人机解码:综述。BMC Biomed Eng。2019; 1(1):1-22。

    文章谷歌学术

  4. 4.

    脑机接口的信号选择。神经生物学杂志。2004;14(6):720-6。

    CAS文章谷歌学术

  5. 5。

    小沃尔夫波,EW沃尔夫波。脑-机接口 :原则与实践。2012.400页。

  6. 6.

    马科维特,黄永涛,王永涛,等。基于局部场电位的猕猴运动目标解码。J > 2011; 31(50): 18412 - 22所示。

    CAS文章谷歌学术

  7. 7.

    Bansal AK, Vargas-Irwin CE, Truccolo W, Donoghue JP。初级运动皮层和腹前运动皮层的低频局部场电位、峰值活动和三维伸展和抓取运动学之间的关系。J Neurophysiol。2011;105(4):1603 - 19所示。

    文章谷歌学术

  8. 8.

    庄J,Truccolo W,Vargas-Irwin C,Donoghue JP。测定3-D REACH和掌握灵长类初级电机皮层中的高频局部场电位的运动学。IEEE Trans Biomed Eng。2010; 57(7):1774-84。

    文章谷歌学术

  9. 9。

    Chen C,Shin D,Watanabe H,Nakanishi Y,Kambara H,Yoshimura N等。从非人灵长类动物传感器皮质中的电加管信号解码掌握力曲线。Neurosci Res。2014; 83:1-7。https://doi.org/10.1016/j.neures.2014.03.010

    文章PubMed.谷歌学术

  10. 10.

    弗林特路,王PT,赖特扎,金策,克鲁科夫莫,舒勒苏,等。从人类运动皮层信号中提取运动信息。神经影像学。2014;101:695–703.

    文章谷歌学术

  11. 11.

    米列科维奇T、特鲁科洛W、格林S、里尔A、布罗切尔T。灵长类运动皮层的局部场电位编码抓取动力学参数。神经影像学。2015;114:338–55.https://doi.org/10.1016/j.neureoImage.2015.04.008

    文章PubMed.pmed中央谷歌学术

  12. 12.

    Khorasani A,Heydari Beni N,Shalchyan V,Daliri Mr。在自由移动大鼠中,从初级电机皮层的局部场电位进行连续力解码。SCI批准。2016; 6(1):1-10。https://doi.org/10.1038/srep35238

    CAS文章谷歌学术

  13. 13。

    Khorasani A,Shalchyan v,Daliri Mr。从内部通道去除自适应伪影,以便在自由移动大鼠中精确地解码力信号。前Neurosci。2019; 13:350。

    文章谷歌学术

  14. 14。

    Footeh R,Khorasani A,Shalchyan v,Daliri Mr。最小噪声估计滤波器:用于现场电位的新型自动化伪影拆除方法。IEEE Trans神经系统Syst rehabil Eng。2017; 25(8):1143-52。

    文章谷歌学术

  15. 15.

    Marathe Ar,Taylor DM。使用定制空间滤波器从高密度硬膜电极阵列中解码连续肢体运动。J神经仪。2013; 10(3):036015。

    CAS文章谷歌学术

  16. 16

    奔驰HL,张H,北欧亚奥斯A,ACharya S,Crone Ne,Zheng X等。连接性分析作为假体控制的电机解码的新方法。IEEE Trans神经系统Syst rehabil Eng。2012; 20(2):143-52。

    文章谷歌学术

  17. 17

    Li S,Li J,Li Z.一种改进的皮质脑机接口基于解码器的基于解码器。前Neurosci。2016; 10:587。

    PubMed.pmed中央谷歌学术

  18. 18

    李Z,o'doherty je,hanson tl,levedev ma,henriquez cs,nicolelis mal。Unscented Kalman筛选器用于脑机接口。Plos一个。2009; 4(7):E6243。

    文章谷歌学术

  19. 19。

    Shimoda K,Nagasaka Y,Chao ZC,Fujii N.在日本猕猴中从硬膜外电压信号解码连续的三维手工轨迹。J神经仪。2012; 9(3):036015。

    文章谷歌学术

  20. 20.

    范格耶伦·迈克,昭ZC,Heskes T.使用稀疏正常的偏最小二乘法进行颅内数据的解码。J神经仪。2012; 9(2):026017。

    文章谷歌学术

  21. 21.

    王志强,等。用梯度下降法学习长期依赖性是困难的。acta photonica sinica, 1994; 3(3): 449 - 454。

    CAS文章谷歌学术

  22. 22.

    Hochreiter S,Schmidhuber J.长短期记忆。神经计算。1997年; 9(8):1735-80。

    CAS文章谷歌学术

  23. 23.

    贝洛D、罗德里格斯J、小瓦兹、佩扎拉特·科雷亚P、甘博阿H。使用深度神经网络学习和合成生物信号。生物医学工程在线。2017;16(1):1–17.

    文章谷歌学术

  24. 24.

    ahmadi n,constandinou tg,bouganis cs。使用长短期内存(LSTM)网络从本地潜力解码手动运动学。在:2019年第9届国际IEEE / MEDS NENARTION(NER),P 415-9会议。

  25. 25。

    Nitish S,Geoffrey H,Alex K,Ilya S,Ruslan S. Dropout:防止神经网络从过度装备中的简单方法。J Mach Learn Res。2014; 15:1929-58。

    谷歌学术

  26. 26。

    Ludwig KA,Miriani RM,Langhals NB,Joseph MD,Anderson DJ,Kipke博士。使用共同平均参考改善微电极阵列的皮层神经元记录。神经生理学杂志。2009;101(3):1679–89.

    文章谷歌学术

  27. 27。

    世界银行。因子和主成分模型中成分数量的交叉验证估计。技术计量学。1978;20(4):397–405.

    文章谷歌学术

  28. 28

    李b,莫里斯j,马丁厄姆。部分最小二乘回归的模型选择。化学智能实验室系统。2002; 64(1):79-89。

    CAS文章谷歌学术

  29. 29

    Greff K,Srivastava RK,Koutnik J,Steunebrink Br,Schmidhuber J. Lstm:搜索空间奥德赛。IEEE Truss神经网络学习系统。2017; 28(10):2222-32。

    文章谷歌学术

  30. 30.

    Kingma DP,BA JL。亚当:随机优化的方法。:3,int conf学习代表ICLR 2015 - Conf Track Proc。2015. p。1-15。

  31. 31。

    Bergstra J,Yamins D,Cox DD.建立模型搜索的科学:视觉架构的数百维超参数优化。2013年:第30届国际形态马赫学习ICML;2013年(第1部分)。P115–23.

  32. 32.

    CHOLLET楼等。Keras。2015年。

  33. 33.

    Buitinck L,Louppe G,布隆德尔男,Pedregosa女,穆勒A,GRISEL O,等人。API设计,机器学习软件:从scikit学习项目经验。2013 09月01日[引用的2020年09月26]。https://arxiv.org/abs/1309.0238

下载参考

致谢

不适用。

资金

本研究没有获得资金。

作者信息

从属关系

作者

贡献

MK写了论文的内容,阐述了论文的方法和结果。MRD指导了方法的详细阐述,并在编写过程中提供了协助,并审查了文档。所有作者阅读并批准了最终的手稿。

相应的作者

对应于穆罕默德礼Daliri

伦理宣言

道德认可和参与同意

本文提到的所有程序都符合NIH议定书,并由当地伦理委员会批准(伊朗科技大学神经衰老和神经科学研究实验室的动物护理和使用委员会)。

同意出版

不适用。

相互竞争的利益

提交人声明他们没有竞争利益。

附加信息

出版说明

欧宝体育黑玩家Springer Nature在公布的地图和机构附属机构的管辖权主张方面保持中立。

补充信息

额外的文件1:

7倍七倍的CV结果。我们呈现了一个延长版本的表1.和表2..对于每只老鼠,我们进行了7倍的七倍交叉验证。相关系数(R)和测定系数(\(R^{2}\)报道)PLS和基于LSTM网络的。对于所有的老鼠,基于LSTM的网络节目显著较高(r)和(\(R^{2}\))价值观。

权限

开放获取本文根据创意公约归因于4.0国际许可证,这允许在任何中或格式中使用,共享,适应,分发和复制,只要您向原始作者和来源提供适当的信贷,提供了一个链接到Creative Commons许可证,并指出是否进行了更改。除非信用额度另有说明,否则本文中的图像或其他第三方材料包含在文章的创造性公共许可证中,除非信用额度另有说明。如果物品不包含在物品的创造性的公共许可证中,法定规定不允许您的预期用途或超过允许使用,您需要直接从版权所有者获得许可。要查看本许可证的副本,请访问http://creativecommons.org/licenses/by/4.0/.创作共用及公共领域专用豁免书(http://creativecommons.org/publicdomain/zero/1.0/)适用于本文中提供的数据,除非另有用入数据的信用额度。

重印和权限

关于这篇文章

通过Crossmark验证货币和真实性

引用这篇文章

Kashefi,M.,Daliri,M.R. A堆栈LSTM结构,用于解码主要电机皮层(M1)的局部场电位信号的连续力。欧宝娱乐合法吗22,26日(2021年)。https://doi.org/10.1186/s12859-020-03953-0

下载引用

关键词

  • 锂离子
  • 力解码
  • LSTM.
  • BCI
\