摘要
准确的认知负荷评估对于增强人机协调能力、提升人机共融系统效率具有重要意义. 目前常用的基于脑电信号的认知负荷评估技术中, 在提取和利用频谱信息的时间和空间关系等方面普遍缺少有效手段. 本文针对脑电频谱图空间分辨率低的特点, 引入胶囊网络有效表征不同导联之间的相对空间关系; 针对脑电频谱图随时间波动的特点, 设计了由长短期记忆网络等组成的时间特征学习支路, 最终通过时空特征融合构建了一种新的认知负荷评估算法. 基于公开数据集的测试结果表明, 本文所提算法的四分类正确率达到99.27%(被试内)和95.16%(跨被试), 在现有算法中性能最优. 消融实验表明, 算法的时、空特征提取模块可分别对脑电频谱图的时空特征进行有效表征, 所提出的双路网络结构能有效完成时空特征的高效融合.
Abstract
Accurate cognitive workload assessment is of great significance for enhancing human-machine coordination and improving the efficiency of human-machine integration systems. Due to the low spatial resolution and the temporal fluctuation of electroencephalogram (EEG) spectrum, commonly used EEG based methods for cognitive workload assessment are not effective in utilizing spatial and temporal information among the EEG spectrum. In this work, a novel cognitive workload assessment algorithm is proposed by fusing the spatial and temporal features of the EEG spectrum, which are extracted by a CapsNet and a long short term memory network. Test results based on public datasets show that the proposed algorithm achieves the optimal performance among SOTA algorithms, reaching 99.27% (data-dependent) and 95.16% (data-independent). The ablation experiments prove that the temporal and spatial feature extraction modules of the algorithm can effectively represent the corresponding features of EEG spectrum, and the proposed dual-stream network structure can accomplish the efficient fusion of temporal and spatial features.
1 引言
随着人机共融系统的技术进步和应用推广，人机交互技术使用范围更加广泛，作业环境更加多样，对人机交互的协调能力提出越来越高的要求. 人作为人机交互系统的主体，在不同的工作环境、情绪状态下，实现不同的任务需求时，具有不同的作业效率. 认知负荷可以表征为人体在工作状态下脑力资源的占用率 [1]，过高的认知负荷会造成人体快速疲劳、情绪挫败，易导致决策失误，严重可能会造成人身事故，引发安全问题; 而过低的认知负荷会造成人力资源浪费、易产生厌倦感等问题，也会导致工作效率下降. 通过评估人的认知负荷，可以合理均衡地分配人机之间的工作任务，促进人机的协作过程更加融洽，对提高系统的工作效率有着重要意义.
认知负荷的评估方法主要有主观和客观两种测量思路. 主观评估是由受试者依据认知任务中的个人体验进行自我评估，主要形式为填写问卷调查表 [2-3]，操作简单、容易实施，但主观性强、易受干扰且实时性欠缺. 而客观测量通过受试者在认知任务过程中产生的脑电（electroencephalogram，EEG）、心电、皮肤电、眼动等生理信号，结合任务表现，给出客观的认知负荷分级，可以有效克服主观评估的缺点 [4-5] . 在客观评估方法所使用的生理信号中，脑电信号以其时间分辨率高、无创、廉价、便捷等优点，已逐渐成为评估认知负荷的主要手段 [6] . 但由于脑电信号在空间分辨率和信噪比方面的显著不足，如何从EEG中提取与认知负荷紧密耦合的稳健特征仍面临严峻挑战.
一般认为，在EEG信号的频域、时域和空域等各类特征中，频域信息与认知负荷耦合最为紧密. 认知负荷的增加伴随着 θ，α，β 等多个频段能量的规律性改变 [7-11]，比如 α 波段的功率下降和 θ 波段的上升 [7，11-13]，以及特定脑区δ波段的能量降低 [8] . 所以脑电频谱是认知负荷评估中使用最为广泛和有效的特征之一 [14] . 而由于认知负荷也会改变EEG信号的空间模式和时间特征 [11，15-17]，脑电频谱会在空间和时间上呈现与认知负荷耦合的特异性模式 [18]，提取并利用脑电频谱的时空特征，是实现对时、空、频多类特征的综合利用、提升认知负荷评估效率的有效手段 [19-21] . 然而，由于EEG信号时空分辨率上的特点，提取和加工脑电频谱的时空特征仍存在以下问题:
1）现有手段无法有效提取和表征脑电频谱在不同导联之间的空间关系.
虽然大脑活动的空间模式与认知负荷变化存在耦合关系 [8，22]，但脑电信号在空间分辨率方面存在先天不足，无法获取和保留足够丰富的空间模式. 而现有算法中，一般使用卷积神经网络（convolutional neural network，CNN）对脑电频谱图进行表示学习，以提取蕴含其中的与认知负荷耦合的空间信息. 但是这些网络使用池化层进行下采样，会进一步降低脑电频谱图的空间分辨率，导致本就稀疏的空间信息大量丢失 [23]，此外，网络提取的标量特征无法有效表征不同导联之间相对的空间关系，所以脑电频谱图蕴含的空间特征无法被有效提取和表示. 因此，寻找合适的网络模块，有效提取和表征脑电频谱空间特征，是提升脑电认知负荷评估准确率的必要途径.
胶囊网络（CapsNet）由Hinton等 [24] 提出，使用胶囊向量代替标量神经元作为网络基本单元，可以保留数据局部与整体的相对空间关系. 此外，胶囊网络不含池化层，可避免进一步降低脑电信号的空间分辨率. 文献 [25] 基于胶囊网络改进一种多层特征融合胶囊网络模型进行脑电病理检测，取得很好的检测效果. 文献 [26] 提出了一种基于EEG的多胶囊深度学习框架检测被试的认知状态，并在疲劳与情绪检测等公开数据集取得较优的跨被试分类结果. 此外，文献 [27-28] 均以胶囊网络为基础网络架构，学习EEG信号中的空间特性等，对情绪状态进行识别，获得满意效果. 因此本文针对脑电数据的特点，考虑使用胶囊网络充分提取EEG的空间特征以实现认知负荷的准确评估.
2）脑电频谱在时间轴上的变化规律未得到充分提取和利用.
尽管学术界注意到事件相关电位、统计矩等时域特征与认知负荷的耦合关系 [29-30]，也有学者使用深度网络提取EEG时间序列的变化特征 [31]，但上述特征反映的都是EEG幅值信息在时间轴上的变化，而EEG频域信息的时间变化与认知负荷的耦合关系则尚未被充分发掘. 虽有学者尝试使用循环神经网络提取脑电频谱的时间特征 [32-34]，但考虑到时间和空间特征融合的简便，现有算法均将时、空特征学习模块串联，也即时间特征学习模块接受空间模块的输入，这使脑电频谱时间特征的提取也极大受到卷积类网络的负面影响.
所以设计合适的深度网络模块，能够直接从脑电频谱序列中学习其在时间轴上的变化规律，并可方便实现与空间特征的融合，是提升认知负荷评估效果的重要手段.
针对上述两个问题，本文提出一种表示和融合脑电频谱时空特征的时空双路神经网络（dual-stream network for spatial and temporal representation，stDSN），用于多水平认知负荷评估. 针对脑电频谱图空间分辨率低的问题，本文使用胶囊网络构建空间特征学习支路，最大限度提取和保留不同导联之间的空间关系; 针对脑电频谱图随时间波动的特点，时间特征学习支路由长短时记忆网络（long short-term memory，LSTM）、全连接层（fully connected layers，FC）和负荷胶囊层级联而成，负责学习脑电频谱的时间变化规律并表示为特征胶囊，方便与空间支路进行融合. 基于公开数据集的测试结果表明，本文所提算法在被试内和跨被试的认知负荷评估中4类分类正确率分别达到 99.27%和95.16%，在现有深度网络算法中性能最优.
2 方法设计
本文算法对脑电频谱图在时空两个维度的特征进行学习表征，并融合应用于认知负荷水平分类，大体可分为EEG功率谱图计算、功率谱图空间特征提取、功率谱图时间特征提取，以及特征融合与分类. 算法的整体框架和信息处理流程如图1所示. 脑电信号经过主成分分析、滤波等预处理步骤 [21] 后，按时间轴进行切片，经过“EEG功率谱图计算”模块得到一系列功率谱图序列，该功率谱图序列并行输入至双路神经网络的“功率谱图空间特征提取”和“功率谱图时间特征提取”两个支路，分别进行频谱图时间和空间特征的表征，其输出的时空特征以特征胶囊向量的形式在特征融合模块进行融合和认知负荷水平的分类.
下文将对图1中的各个模块进行逐一介绍，所涉及到的变量含义如表1所示.
图1模型整体框架示意图
Fig.1The overall framework of the network
表1所提算法涉及变量的含义
Table1The meaning of parameters in the algorithm
2.1 EEG功率谱图计算
使用图像序列转换方法 [21]，按照t秒一个图窗、无重叠的方式，对每个试验试次进行划分，保留信号随时间的变化规律，得到包含m个图窗的单试次实验数据. 将每个图窗内的时域脑电信号转换至频域，考虑到EEG信号中θ（4–8 Hz），α（8–13 Hz），β（13–30 Hz）频段对认知负荷变化较为敏感，提取每个图窗内的 θ，α，β 频段，分别进行快速傅里叶变换（fast Fourier transform，FFT），将每个频段内的信号平均功率作为每个图窗的频率表示，以期获得显著的频率特性.
为减少数据的计算量，将三维空间的电极投影至二维平面再输入至网络模型. 本文使用等距方位投影（azimuthal equidistant projection，AEP）. 选取头顶端点作为投影中心，计算电极位置在与头顶端点相切的二维平面上的投影位置. 将二维平面的尺寸设置为s×s，并按照单位像素进行网格划分. 有投影点所在的网格，取投影点电极的频率值; 无投影点的网格，利用 CloughTocher方案 [35] 进行插值以估计电极点间的值，最终得到输入至网络模型的EEG功率谱图. 具体的数据多维变换流程如图2所示.
图2数据多维变换流程图
Fig.2The flow chart of data multidimensional transformation
2.2 EEG功率谱图空间特征提取
本文使用胶囊模型对EEG功率谱图的空间特征进行提取. 胶囊网络被认为可以保留数据中局部与整体的相对空间关系，适合提取EEG功率谱图等空间分辨率较低的数据中的空间模式. 它以胶囊向量作为核心单元，每个胶囊向量由多个神经元组成，同一胶囊内的不同神经元输出代表着输入数据某一特征的不同属性. 整个网络由1个卷积层、1个初级胶囊层（PrimaryCaps）和1个负荷胶囊层（WorkloadCaps）组成，以期输出包含空间特征的胶囊向量. 首先对输入数据进行处理，保留空间信息，取各时间图窗的均值，使输入向量维度降至三维，再输入至CapsNet.
由卷积层对输入数据进行特征提取，通过卷积核进行卷积运算，对数据的局部特征进行提取. 再由ReLu激活函数进行非线性变换，得到初步提取的特征图.
将提取到的局部特征输入至初级胶囊层. 初级胶囊层由多个卷积胶囊组成. 每个卷积胶囊间相互共享权重，最终将所得的特征图转化为q个胶囊向量. 使用如下压缩函数，对胶囊提取的特征向量进行压缩，得到输出向量
(1)
其中: sj表示胶囊提取的特征向量，vj表示输出向量. 在初级胶囊层与负荷胶囊层间，使用动态路由机制进行信息传输. 依据初级胶囊的输出计算预测向量，使用一组耦合系数对所有预测向量进行加权求和，得到特征向量. 再经过式（1）压缩函数进行压缩，得到输出向量
(2)
(3)
其中: 代表预测向量，cij表示耦合系数. 通过计算 与cij的内积计算其相似度，对耦合系数不断更新，最终得到一组最优的耦合系数，确定信息在卷积胶囊层与负荷胶囊层之间的传输方式.
(4)
(5)
最后，将初级胶囊层输出的向量输入至负荷胶囊层. 负荷胶囊层将特征胶囊的长度扩充至c1，最终输出数据维度为n × c1. 具体的空间特征提取模型架构如图3所示.
2.3 EEG功率谱图时间特征提取
本文设计了基于LSTM和全连接层的网络模块来提取EEG功率谱图的时间特征，模块架构见图4. 来自 3个不同频段的功率谱图经过平均后，按照m个图窗的时间顺序进行排列，得到功率谱图序列. 将上述序列输入至LSTM模块进行时序特征提取，输出的时间特征输入至全连接层，完成特征的组合和压缩.
图3空间特征提取模型架构
Fig.3The architecture of spatial feature extraction model
图4时间特征提取模型架构
Fig.4The architecture of temporal feature extraction model
考虑到本模块提取的时间特征与CapsNet输出的空间特征的融合问题，将组合压缩后的时域特征转化为向量胶囊形式，胶囊个数即为分类数，胶囊长度为时间特征数. 因此，模块输出特征维度为n × c2.
2.4 特征融合与分类
空间特征提取模块和时间特征提取模块分别得到n × c1维的空间特征胶囊向量与n × c2维的时间特征胶囊向量. 两个特征向量的胶囊数量一致，将其在胶囊维度上进行拼接，实现特征融合，即得到n×（c1+ c2）维特征胶囊，特征融合方式见图5. 对融合的特征胶囊进行L2范数计算，得到n维向量，表示不同类别的特征存在的可能性，进而判断输入数据的认知负荷水平，实现认知负荷的自动分类.
图5特征融合方式示意图
Fig.5The diagram of feature fusion
3 实验设置与结果分析
3.1 数据集
本文使用公开的MA数据集 [36] 和EEGLearn 数据集 [21] 分别进行被试内和跨被试认知负荷分类效果的评估和对比. MA数据集按照标准10-5位置放置30 个电极，记录29个测试者在进行算数任务时的脑电信号，采样频率为1000 Hz; EEGLearn数据集按照标准10-10位置放置64个电极，记录13个测试者在进行Sternberg任务 [37] 时的脑电信号，采样频率设置为500 Hz.
MA数据集记录被试完成的3个阶段实验: 在每阶段实验开始前，被试进行60 s的休息，之后重复完成三位数减一位数的减法试验20次，再休息60 s. 每次试验开始前2 s介绍任务（算数或休息），之后10 s根据要求完成任务，再休息15∼17 s，一次试验结束. 每名被试经历3阶段实验后，共记录实验数据60次，用于二水平认知负荷评估实验. 在数据预处理阶段，图窗长度t设定为3 s，图窗个数m为8，EEG功率谱图大小s × s设置为32 × 32.
EEGLearn数据集的实验大致流程如下: 屏幕随机呈现一组英文字母并停留0.5 s，被试记忆字母组3 s，之后判断测试字母是否属于之前的字母组，回答完成后，一次试验结束. 每个被试共进行240次试验，记录正确的实验试次，共2670次，用于四水平的认知负荷评估，即分类数n = 4. 在数据预处理阶段，图窗长度t 设定为0.5 s，图窗个数m为7，EEG功率谱图大小s × s 设置为32 × 32
3.2 模型训练参数
基于EEGLearn与MA数据集，本文进行了被试内认知负荷评估实验. 采用五折交叉验证划分训练集与测试集，批次大小设置为32. 使用EEGLearn数据集进行跨被试实验，采用留一交叉验证划分数据集，批次大小设置为100. 在训练EEGLearn数据集的网络结构中，卷积层的卷积核大小为9 × 9，步长为1，通道数为 256; 初级胶囊层的卷积核大小为9 × 9，步长为2，通道数为256，胶囊数q设置为8; LSTM层数设置为1，隐藏层单元数设定为64. 而在训练MA数据集时，由于其数据集数量较少，将所有卷积核的通道数设置为128，其余网络结构参数保持不变. 其他超参数: Adam优化器学习率为0.001，迭代次数为50，dropout设置为0.3，动态路由迭代次数为3，在评估不同数据集、完成被试内与跨被试实验中设置均相同.
考虑本文算法参数量大（表2给出了其他模型与本文算法的参数量对比结果 [21，38-39]），必须考虑过拟合风险 [40] . 为了验证是否发生过拟合，本文记录了算法训练迭代期间的训练误差与验证误差变化趋势，发现训练损失与验证损失随迭代均下降至正常范围，未出现过拟合迹象.
3.3 结果分析
3.3.1 被试内的认知负荷评估结果分析
为了评估算法的认知负荷分类能力并方便与现有算法进行对比，考虑到所选数据集不同类别样本数目基本均衡，本文主要使用准确率（accuracy）对算法进行评价，同时为了更科学全面地验证算法的认知负荷评估效果，也选取常用的精确率指标（precision）判断某一类认知负荷在所有预测结果中的准确程度，选取查全率（recall）判断某一类认知负荷被全部预测正确的概率，选取综合评价指标（f1-score）权衡精确率与查全率，进一步评估模型质量 [41-42] . 分别对13个被试的脑电信号数据进行认知负荷等级的评估，表3展现了不同分类水平的评价结果以及算法表现的平均水平，0-level代表模型在分类标签为0的样本时的评价结果. 在各水平的分类结果中，2-level样本获得了最高的f1-score，而0-level样本的f1-score值则相对较低，表明模型在评估2-level样本时表现优于0-level样本. 观察模型整体表现，stDSN在评估被试内的认知负荷水平时，平均准确率达到了99.27%. 这充分证明了本文提出算法在被试内的认知负荷评估任务中具有较优的表现.
表2不同模型参数量
Table2The number of parameters in different models
表3被试内认知负荷分类结果
Table3The subject-dependent cognitive workload classification results
为了评估本文算法在被试内分类能力上的先进性，本文将stDSN与其他网络模型进行了对比分析，对比实验基于国际常用的MA 数据集开展. 表4给出了不同算法的准确率 [36，43-44]，本文算法平均准确率为 86.38%，优于同一数据集上其他基于脑电信号的方法.
另外，为了分析本文算法在跨时间数据上的性能，使用MA数据集的第1阶段的数据作为训练集，其他阶段的数据分别作测试集，发现测试集距离训练集时间越短，评估准确率越高，反之越低，说明本文算法的正确率受到跨时间的影响. 如何提高认知负荷评估算法对于跨时间测试的健壮性，需要开展进一步的深入研究.
表4本文算法与其他模型的被试内任务结果对比
Table4The comparison of subject-dependent task results between the proposed algorithm and others
3.3.2 跨被试的认知负荷评估结果分析
使用留一验证，依次将13个被试作为验证集，进行跨被试的认知负荷水平评估，结果见表5. 本文算法在 4个评价指标上均实现了平均95%左右的结果，说明 stDSN能够较好的克服不同被试之间的个体差异，提取出与认知负荷耦合的不变特征，具有较强的泛化性. 查看不同水平的分类结果，在评估低水平（0-1级）认知负荷时，3个指标均劣于对2–3级高水平的评估. 其中，0水平具有最低的 recall值1水平具有最低的precision值，猜测模型易将0水平样本误分为1水平. 为了进一步研究不同类别样本间的混淆程度，4类水平的混淆矩阵被绘制如图6所示.
从图6中可以发现，模型最易将1水平样本错误评估为0水平. 在评估被试1–3水平样本时，模型容易将认知负荷水平评估低一个等级，尤其是认知负荷水平为1级的数据. 总体而言，模型在评估0–1级低水平的认知负荷时，易发生混淆，错误率更高; 而在评估2–3级高水平的认知负荷时，错误率相对较低.
表5跨被试认知负荷分类结果
Table5The subject-independent cognitive workload classification results
图6评估跨被试认知负荷的混淆矩阵
Fig.6Confusion matric for subject-independent cognitive workload assessment
为了进一步验证提出算法在跨被试任务上的性能，将本文提出的stDSN与目前先进的研究算法进行了对比 [21，33，45-47]，结果如表6所示. 这些研究提出了不同的认知负荷识别的网络架构与策略，且均在EEGLearn数据集上进行了验证. 从表中可以发现，本文提出的方法在准确率指标上优于其他算法研究. 对比结果证明了本文提出的基于EEG的认知负荷识别方法在跨被试任务上的有效性.
表6所提算法与其他模型的跨被试任务结果对比
Table6The comparison of subject-independent task results between the proposed algorithm and others
为了分析不同超参数对于分类正确率的影响，本文测试了学习率、批次大小、迭代次数等超参数在不同取值时的认知负荷评估结果，如表7所示. 可以发现算法对于学习率表现出一定的敏感性，但当学习率取 0.001和0.0001时，算法四分类准确率均能高于92%.对于批次大小和迭代次数两个超参数，本文算法表现较为健壮，均能取得高于91%的准确率.
表7不同超参数时认知负荷分类准确率
Table7The cognitive workload classification accuracy in different hyper-parameters
3.4 消融实验
为了评估各模块在stDSN中的贡献，本文设计了一系列消融实验，分别研究了采用不同空间特征提取模块、不同时间特征提取模块以及不同网络结构时认知负荷的评估结果，见表8.
1）空间特征提取模块对评估结果的影响.
将stDSN（也即表8中的1号模型）的空间特征提取模块消融，只保留时间模块，可获得2号消融模型，此时算法准确率大幅下降至93.37%. 这说明stDSN的空间模块可以有效表征与认知负荷水平耦合的空间特征.
而将空间模块由胶囊网络替换为传统的 CNN，即3号模型，算法准确率也出现明显下降. 这可以验证作者在引言部分的猜测，即相较于传统的CNN网络，CapsNet模块能够对蕴含于功率谱图中的空间信息进行更为有效地表征. 其原因可能是含有池化层的CNN 在处理EEG这类低空间分辨率的数据方面存在先天不足.
值得一提的是，作者也对比了不同电极投影模式对分类准确率的影响. 将AEP投影模式更改为正投影后，采用 CNN 的3号模型，准确率下降 0.6%，而采用 CapsNet的1号模型，准确率仅下降0.2%，进一步证明了胶囊网络对空间信息变化不敏感，能够克服功率谱图空间分辨率低所带来的影响，具有更强的健壮性.
2）时间特征提取模块对评估结果的影响.
将stDSN的时间特征提取模块消融，只保留空间模块，可获得4号消融模型，此时认知负荷评估准确率大幅下降至91.65%，证明时间模块可以有效地挖掘脑电频谱图的时间特征.
而将时间模块替换为传统的LSTM，可得5号模型，算法的准确率下降约3%，说明相对于传统LSTM时间特征提取模块，本文所设计的LSTM+FC时间模块更具优势.
3）网络结构对评估结果的影响.
将stDSN中的空间与时间模块按照单路串行的网络结构进行排布，得到6号消融模型，评估准确率为 88.63%，表现明显劣于stDSN，证明了本文使用双路结构的有效性.
表8基于跨被试认知负荷评估的消融研究
Table8The ablation study of subject-independent cognitive workload recognition
另外，本文算法中时间空间特征的融合策略为拼接融合，而6号模型可看作对于时空特征的一种另外的融合策略，即先通过CapsNet提取空间特征，再将提取的表示空间特征的时间序列进行时间特征的提取.6号模型的准确率低于并联拼接的融合方式，可能是该融合方式破坏了脑电频谱图序列时间特征的原因.
综上，算法的时、空特征提取模块可分别对脑电频谱图的时空特征进行有效表征，所提出的双路网络结构可有效完成时空特征的高效融合.
4 总结
本文提出了一种基于脑电频谱图的时空双路神经网络模型用于被试内与跨被试的认知负荷评估. 使用 CapsNet模块以克服空间分辨率低导致的信息丢失问题，有效地提取和表示空间特征. 通过所设计的时间特征提取模块直接学习脑电频谱的时间变化规律，充分地挖掘时间特征. 按照双路结构排布，便于特征胶囊的融合，可极大提升认知负荷评估的效果.