李玳 王天牧 张思 谢福贵 刘辛军 聂振国 刘振龙
1北京大学第三医院运动医学科，北京大学运动医学研究所，运动医学关节伤病北京市重点实验室（北京 100191）
2清华大学机械工程系摩擦学国家重点实验室（北京 100084）
3清华大学精密/超精密制造设备与控制北京市重点实验室（北京 100084）
膝关节后交叉韧带断裂难以通过直接观察的方式进行快速准确诊断[1，2]。然而，基于足-膝偶联关系，通过分析人行走过程中足底与地面作用关系，能够间接对膝关节病变进行评估[3-5]。通过分析步态周期内的足底压力分布峰值，借助智能算法对步态的特征进行提取与分析，有望实现对膝关节后交叉韧带快速、准确的智能辅助诊断[6，7]。
足底压力分布信息在形态上类似于二维图像信息，但不同于图像分类领域的图像，由于传感器元件尺寸限制，使用传统的卷积神经网络很难对其中的特征进行提取。同时，足底压力信息图像中存在大量“无效”的背景信息与噪音，因此，需要依赖智能算法主动对信息进行筛选。换而言之，所使用的智能算法需要能够主动地对“有效”信息进行识别与检测，并通过在训练中赋予这些信息更多的权重，从而实现对整体足底压力信息的更好处理与分类，最终实现对后交叉韧带断裂的准确诊断。
深度学习作为仿生学在计算机领域的应用，神经网络的结构也广泛得到了生命体的特征启发[8]。自注意力机制是仿生学在深度学习领域的重点应用之一[9-11]。在本研究提出的Pressure Transformer网络中，输入的足底压力信息图像被划分成多个小图块。通过使用自注意力网络结构，在训练过程中计算出每个小图块对最终预测结果的贡献程度。并且，根据贡献程度的不同，赋予贡献程度大的图块更高权重，在提取有效特征的同时也避免了大量无效噪音的干扰，实现对后交叉韧带断裂的智能辅助诊断。本研究使用后交叉韧带断裂患者步行时的足底压力信息对所提出的深度学习网络模型进行了训练与验证。模型在测试集上的预测准确度达到了92.02%，较传统的卷积神经网络有显著提升。同时，所采用的深度学习方法经过热点图分析，有效地提取了足底压力信息的边缘和重点区域的压力特征信息，证明了引入自注意力机制能够显著提升足底压力信息分析的准确性，并对后交叉韧带断裂辅助诊断有显著指导意义。
随着5G技术的发展与数字化医疗需求的提出，基于医学图像学的智能诊断方法近些年来正不断涌现[12]。足底压力图像信息作为一种特殊的足底生理物理信息，也能够被处理成一类特殊的医学图像。国内外学者和医生正尝试使用机器学习和深度学习的方式，通过对足底压力进行特征提取和分类，实现对下肢疾病的智能辅助诊断[13]。在医学图像学领域的深度学习模型中，卷积神经网络（convolutional neural network，CNN）[14]是一种应用最广泛的深度学习模型。在卷积神经网络中，通过在图像的长、宽维度使用滑动的卷积核对相应位置进行卷积处理，从而提取边缘与轮廓信息，进行最终分类。卷积神经网络在图像处理领域有着较好效果，在CT 图像诊断领域有着广泛应用[15]。部分学者也基于CNN对足底压力信息进行提取并研究其在疾病辅助诊断领域的应用。Wang等[16]基于一个完整步态过程中的最大足底压力值信息，采用双层卷积结构，实现了糖尿病足的分类预测。黄红拾等[7]基于CNN模型，在使用投票法处理的二维足底压力信息分类中，得到了较高的分类精度。
然而，不同于传统的医学图像，足底压力信息图像由于传感器尺寸限制，其分辨率远低于CT 与MRI 影像；
并且受到传感器性能限制，在足底压力信息采集过程中受到较多的噪声干扰；
同时，由于不同测试者的足底尺寸大小分布范围大，在实现归一化过程后，足底压力信息图中会有较多无意义的白噪音区域。传统的卷积操作将整张图片作为感知野[17]，对上述这种低分辨率、噪音多、无效区域大的特殊图片的信息提取能力不强。与此同时，卷积算法中的每一隐藏层中，卷积互相独立。这意味着卷积神经网络不能从空间中对特征进行关联，只能单纯地提取离散的空间特征，不适应于处理这类噪音大、分辨率低的图像。因此，在实际的应用中单纯使用CNN 网络进行预测的效率较低，准确度难以得到很大提升。
在针对足底压力的分析与诊断过程中，一种针对足底不同区域使用机器学习如主成分分析（principle component analysis，PCA）的方法给了我们很大的启发。Li等[18]借助足底压力中心（centreof pressure，COP）曲线法和ELM 神经网络，通过分析患者足底压力中心的变化特征，实现了步态的分类和智能辅助诊断。Cock 等[19]基于K 聚类将足底区域划分为多组典型区域，根据不同区域的压力变化特点提取各区域的主成分，从而实现对运动过程中足膝负载进行分析。Jie等[20]基于C 模糊聚类实现了对交叉韧带损伤的辅助诊断。上述研究分析了足底压力中特定区域的特征，并通过提取这些特定空间位置的足底压力特征，实现对疾病的分析与辅助诊断。在深度学习领域，这种关注与空间分布位置、对图像中具体空间位置进行特征识别的方法近些年来也成为研究热点。受到仿生学启发以及人类在认知过程中习惯于将注意力集中在关键目标这一特点，一种名为“注意力”的机制在深度学习领域被提出并在自然语言处理、图像识别过程中得到广泛应用。
“注意力”机制最早被应用于自然语言处理，用于关联在上下文中对语义影响最大的关键词。随着计算机视觉的发展以及学者对图片结构理解的深入，Dosovitskiy等[21]提出了ViT（vision transformer）网络模型，将注意力机制引入到了图像识别领域，通过将初始图像划分成多个16×16像素的区块，以及位置编码等方式，结合注意力方法，对不同位置的区块给予不同的权重。在ViT 网络中，由于对图块进行了位置的编码即空间序列化，网络能够更有效地关注图块间的空间位置联系，从而能够更好地提取全局的“上下文”特征，最终更好地实现对目标的识别与分类。ViT 以及类似的网络已经被广泛应用于医学影像学中。Valanarasu 等[22]基于ViT，提出了MedicalTransformer，用于对医学影响进行智能分割。Duong 等[23]利用ViT 和迁移学习，实现了基于肺部X 射线图的结核病智能诊断。Park 等[24]利用ViT研究分析了肺部X射线图像，实现了对Covid-19的智能诊断。
2.1 数据准备
本研究建立的Pressure Transformer 是一种监督学习模型，因此在进行数据集准备过程中，需要由专业临床医师对所采集的足底压力数据进行分类。结合临床实际需求，本研究的数据集中包含了3 类标签：健康人、左侧单纯后交叉韧带断裂患者与右侧单纯后交叉韧带断裂患者。本研究中使用了footscan®公司的足底压力测试板（RSscan公司，2×0.4 米，16384 个感受器）进行数据采集，受试者先热身并熟悉裸足步行程序。在采集过程中，受试者被要求以足跟部先着地和自选适合的速度裸足行走在足底压力测试板上。采样率为126Hz，每个有效测试采集了至少3 个完整的步态周期。提取行走过程中足底压力最大值作为数据集。为了避免因不同志愿者足底大小不一致导致的输入维度差异，本研究采取ZeroPadding[25]的方式将足底压力图像统一拓展至宽34 像素、高48 像素的足底压力图像。选择其中的90%作为参与训练的数据集，剩余10%作为测试集。
2.2 模型设计
本研究所提出的对足底压力数据进行智能分类的Pressure Transformer模型如图1所示，输入的足底压力信息图像可以被看作一个二维矩阵，其维数Diminputimg∈R48×34。首先，以Dimpatch∈R3×3为图块尺寸，对初始图像进行均匀分割，如图2 所示，得到16×11 个二维矩阵。此时，输入信息的维度Dimdividedimg∈R7×11×3×3。接着，将经过划分的矩阵展平处理，得到展平矩阵维度Dimflatten∈R176×9。将每个图块的信息使用嵌入层进行编码，即将一个长度为9的一维矩阵投影到一个长度为40的一维矩阵中，此时，整体的维度Dimembedding∈R176×40。在这个过程中，图块的位置信息也被用于参与嵌入编码，即最终的编码信息除了包含图块本身的像素值（压力值），也包含了图块在原图中的空间位置信息。
图1 Pressure Transformer模型结构
图2 初始图像分割
在经过嵌入层编码后，一个4层的Transformer编码器被使用，借助注意力机制，用于提取分类所需的压力特征。Transformer的核心是自注意力机制，对于单头自注意力机制，每一层的Attention函数可以被表示为：
其中dk表示了一个缩放因子。需要说明的是，该缩放因子属于一个训练超参数，用于平衡隐藏层的梯度，缓解训练过程可能出现的梯度爆炸、梯度消失。Q表示查询向量；
K表示被查询信息与其他信息的相关性的向量；
V表示被查询信息的向量，均由输入值X分别做1次线性变换得到：
对于一个包含了j个元素的一维向量S，其每一个元素xi的Softmax函数可以表示为：
在本研究使用的Pressure Transformer 模型中，为了从更多维度提取特征，我们采用了多头注意力机制，如图3所示。
图3 多头注意力模块
多头注意力算法使用了多组线性变化，从而得到多组Q，K，V，在进行ScaleAttention计算后，将所得结果拼接，最终通过线性映射调整向量维度。对于i头注意力，其基本表达式如下：
式中WiQ，WiK，WiV，W均表示线性变化。
不同于用于自然语言处理过程中需要使用解码器再次将特征反编译成语言序列输出，在本研究所述算法中，仅需要对提取的特征采用分类器进行分类即可完成最终目标[21]。在使用的Pressure Transformer 网络中，我们使用了一个3层的多层感知机作为分类器，并使用Softmax函数作为激活函数对最终结构进行表示。
为了避免训练过程中出现过拟合现象，我们在隐藏层间设置了Dropout层，用于屏蔽网络中的部分神经元。同时，我们采用了层正则化与残差连接的方法，更好地避免了深层网络可能出现的梯度消失、梯度爆炸，从而实现更为准确的分类效果。
3.1 实验环境
本研究所使用的Pressure Transformer 模型，使用了Tensorflow 的Keras模块进行编写，并在python3环境下编译并运行。本研究所提出的模型使用一块NVIDIAGeForceRTX3070进行训练。
3.2 实验数据集
本研究使用的数据集包括了63名健康人、69名左侧单纯后交叉韧带断裂患者以及69 名右侧单纯后交叉韧带断裂患者的足底压力信息，得到1208段单纯左侧后交叉韧带断裂，1096段单纯右侧后交叉韧带断裂，以及964段健康人的足底压力数据。经过预处理后得到的数据集的样本信息如表1所示。本研究得到北京大学第三医院医学科学研究伦理委员会批准[（2017）医伦审第（087-02）号]。
表1 训练数据集分布
3.3 实验参数
为了提升网络的收敛速度与收敛效果，模型采用了小批量训练[26]方法，批量的大小为16。网络选择使用Adam[27]优化器用于参数优化。
预设的训练迭代次数为100。其余的网络参数如表2所示。
表2 网络参数设置
3.4 基准模型
考虑到CNN 是目前图像识别领域的热门应用模型，且在医学影像学分类应用中有着优秀的预测效果。因此，在本实验中，我们使用了3层的卷积神经网络作为基准模型。在CNN 网络的基准训练过程中，分别采用了一个步态周期中足底压力的最大值和平均值作为模型的输入。基准模型与Pressure Transformer 采用相同的硬件训练条件。采用了相同的批量为16 的小批量训练方法，同样采用了Adam作为参数优化器。
3.5 评价指标
预测准确度，特别是测试集的预测准确度，是评价一个深度神经网络效果的重要评价指标。测试集准确度能够直观地表达网络的分类效果，并能够体现网络的泛化性能以及后续的可迁移性。在深度学习领域，交叉熵[28]也是一种用于多分类算法的损失函数。对比单纯的准确度指标，交叉熵能够更直观地反映出预测结果的分布与真实分布的差异。
此外，当数据集本身存在较大分布偏差时，单纯使用预测准确度很难对模型分类效果进行评价。通过列出测试集上预测结果的混淆矩阵，能直观分辨出数据真实分布与预测分布之间的关系。同时，通过混淆矩阵，能够得到受试者操作特征曲线（receiver operating characteristic curve，ROC）。ROC 反映了伪阳性概率（false positive rate，FPR）和真阳性概率（true positive rate，TPR）之间的数值关系。FPR/TPR值越大说明分类器分类效果越好，即Pressure Transformer 神经网络模型的预测效果越准确。
3.6 模型评价
图4展示了训练过程中损失函数与训练迭代次数的关系。可以看到，在大约60代发生了比较明显的过拟合，因此实际训练过程中选择60 代作为迭代次数，从而更好地避免过拟合。图5展示了模型的训练准确度与验证准确度随迭代次数变化关系。训练结果显示，使用Pressure Transformer 模型，能够在测试集上达到92.02%的准确度。到，Pressure Transformer 网络的预测准确度（92.02%）明显高于包含三层卷积层的CNN网络（89.83%）。图6展示了Pressure Transformer 在测试集上预测结果的混淆矩阵。通过混淆矩阵能够得到模型的ROC。ROC与x 坐标轴围成的面积被称作曲线下面积（area under curve，AUC），AUC值能够对模型的分类表现进行评价，AUC 值越接近1，说明分类器的分类效果越好。Pressure Transformer的ROC如图7所示。本研究还计算了Pressure Transformer 和其余模型的AUC 值，如表4 所示。通过比较可以发现，Pressure Transformer 的AUC数值（0.9820）较CNN 模型（0.9218）有较大的提升。这说明Pressure Transformer 模型的分类表现相比于CNN模型有较大提升。
表4 各模型AUC值
图4 训练过程的损失函数变化
图5 训练过程的准确度变化
表3 各模型预测准确度
图6 使用Pressure Transformer网络进行预测后的混淆矩阵
图7 Pressure Transformer的ROC曲线
3.7 模型的解释性分析
在PressureTransformer 中我们引入了注意力机制，它能够在图像分类过程中，使模型自发关注目标图像的重要区域。不同于CNN 将图片全局作为感知野，Transformer 网络通过分割图块，并对其进行位置编码，从而对不同位置的分割图块赋予不同的权重，依赖高权重图块特征，最终实现准确的分类预测。梯度热力图能够反映图像的每一区域在最终分类中的贡献。通过绘制如图8所示的梯度热力图，我们不难发现，模型的关注热点主要集中在前足趾、足中后区域和跟后外侧。这一特点与现有分析[5]相吻合。这种定位准确的特征提取进一步提升了网络学习效率，也解释了Pressure Transformer 较CNN 对后交叉韧带断裂辅助诊断准确度的大幅提升。与此同时，热力图也能对后续足底压力的动力学研究进行辅助验证与指导。
图8 足底压力分布梯度热力
本研究通过将注意力机制引入医学影像学分析过程，通过对初始足底压力图像进行图块划分、位置编码，能够更高效地结合划分后图块的空间坐标关联，通过洞察模型本身的关注热点，从而实现对特征更高效准确的提取，最终实现对后交叉韧带断裂的辅助智能诊断。所构建的Pressure Transformer 网络经过训练后其模型预测分类AUC 值达到0.9820，并在测试集上达到92.02%的预测准确度。基于注意力机制的足底压力神经网络分析模型能够有效实现临床环境下智能辅助诊断的功能，具备显著的临床应用价值。
猜你喜欢 准确度韧带注意力 让注意力“飞”回来小雪花·成长指南(2022年1期)2022-04-09三角韧带损伤合并副舟骨疼痛1例临床骨科杂志(2021年4期)2021-08-20注意这几点可避免前交叉韧带受损保健与生活(2021年6期)2021-03-16Phosphatidylinositol-3,4,5-trisphosphate dependent Rac exchange factor 1 is a diagnostic and prognostic biomarker for hepatocellular carcinomaWorld Journal of Clinical Cases(2020年17期)2020-09-18超声结合应力实验在肘关节侧副韧带损伤中的临床意义分析中华肩肘外科电子杂志(2020年1期)2020-08-24“扬眼”APP:让注意力“变现”传媒评论(2017年3期)2017-06-13A Beautiful Way Of Looking At Things第二课堂(课外活动版)(2016年2期)2016-10-21距跟外侧韧带替代法治疗跟腓韧带缺失的慢性踝关节外侧不稳中国运动医学杂志(2016年3期)2016-07-10动态汽车衡准确度等级的现实意义中国交通信息化(2016年5期)2016-06-06对GB 17167实施过程中衡器准确度要求问题的探讨中小企业管理与科技·中旬刊(2014年10期)2015-02-03