Fault diagnosis of rolling bearing under adaptive attention LSTM-ResNet
-
摘要:
滚动轴承信号具有复杂性和非线性的特点，对特征提取和故障分类带来挑战。为解决上述问题，文章提出一种自适应注意力LSTM-Resnet（long short-term memory residual network）下的滚动轴承故障诊断方法。首先设计双向LSTM组特征提取模型，获取复杂运行条件下的滚动轴承特征；然后，提出自适应注意力LSTM-ResNet完成特征学习，并自适应调整模型中关键特征的权重；最后，采用全局平均池化（global average pooling，GAP）方法结合Softmax模型缓解模型过拟合并完成故障分类。在数据集中完成滚动轴承故障分类，实验结果表明：文章方法的滚动轴承故障诊断准确率相对于SVD-ResNet方法和宽卷积模型更高，并且能在标记样本数量较少和噪声环境下均达到较高的检测准确率，具有更高的准确性和更强的鲁棒性。
Abstract:The complexity and nonlinearity of rolling bearing signals pose challenges to feature extraction and fault classification. To solve these problems, in this paper, an adaptive attention long short-term memory residual network (LSTM-ResNet) is proposed. The bidirectional LSTM group feature extraction model is designed to obtain the rolling bearing features under complex operating conditions. Then, an adaptive attention LSTM-ResNet is proposed to complete feature learning and adjust the weights of key features in the model. Finally, global average pooling (GAP) method is used to combine softmax model to alleviate overfitting and merge the model to complete fault classification. The rolling bearing fault classification was completed in the data set. The experimental results show that the proposed method has a higher detection accuracy than SVD-ResNet method and wide convolutional model, and can achieve a higher detection accuracy under the condition of less marked samples and noise.with higher accuracy and stronger robustness.
-
Keywords:
- mining equipment /
- fault diagnosis /
- LSTM /
- weight /
- Softmax /
- GAP
-
现代工业社会高度依赖各种旋转机械，例如电机和发动机。滚动轴承是机器不可或缺的核心组成部分，而其多处于极端的工作环境，很容易发生故障。一旦轴承发生故障，旋转机械的稳定性和可靠性将受到破坏，会导致经济损失甚至人员伤亡。因此，轴承故障诊断[1]对于制造业中旋转机械的安全可靠运行至关重要。
目前，滚动轴承故障诊断通常基于数据驱动[2]的方法，通过收集滚动轴承振动信号，应用故障诊断方法完成故障识别。振动信号是滚动轴承故障诊断领域中最常用的基础数据。现有方法多基于数据驱动型智能故障诊断方法（data-driven intelligent fault diagnosis，DIFD），通常包含特征提取[3]和故障分类[4]两个步骤。具体而言，专家首先给定故障统计敏感特征，然后使用浅层机器学习方法完成故障诊断，例如：用支持向量机或自适应最近领域重建方法区分机器的不同健康状态。尽管传统故障诊断方法在早期取得了好的效果，但仍存在一些缺点。其中一个缺点是，特征提取高度依赖于专家知识。此外，浅层学习方法的弱学习能力无法完成设备的复杂动态建模。与传统故障诊断相比，基于深度学习（deep learning，DL）的故障诊断方法可以自动从机器数据中学习特征，并处理各种复杂场合[5]。而且，这类方法可以提高故障诊断系统的性能，从受噪声污染的振动信号中提取有用的特征。
Cui L L等[6]建立了一种SVD-ResNet方法，该方法基于奇异值分解（singular value decomposition residual network，SVD-ResNet）的池化层完成降噪，并建立改进ResNet模型，然后将振动信号的小波变换图像输入改进后的ResNet进行滚动轴承故障诊断，然而，由于SVD方法的计算复杂度高，使该方法在训练和推理阶段的效率低下。Li L F等[7]提出了一种具有多个分支的噪声鲁棒卷积网络，该网络的其中一个分支是基于高斯滤波器的“去噪分支”。该模型在对滚动轴承故障诊断的表现良好，但其“去噪分支”中使用的高斯滤波器不可训练，导致灵活性受限。Zhu R等[8]提出了一种宽卷积模型，使用宽卷积核的卷积模型抑制振动信号中的高频噪声，提升了算法的性能，然而，宽卷积核并不是专门去噪的结构。Wang H等[9]应用联合学习通过辅助信号去噪功能以降低噪声，然而，该方法依赖于“噪声-降噪网络对”进行训练。由于实际的降噪信号始终是未知的，因此该方法在实际工程中的实用性受到限制。高玉才等[10]结合双向长短期记忆网络（bi-directional long short-term memory，Bi-LSTM）与注意力机制从前后向获取原始轴承故障数据，但该方法的泛化能力有限，特征提取的功能有待加强。韩争杰等[11]联合ResNet和注意力机制可有效削弱映射学习难度、提升效率，但此方法训练后存在一定噪声，准确率有待提升。
综上，现有的故障诊断方法存在特征提取能力受限、难以适应噪声环境和诊断准确率低等问题。因此，本文基于长短期记忆网络和注意力机制，充分提取和学习滚动轴承在复杂运行条件下的特征，联合全局平均池化和SoftMax方法，较准确地完成故障分类，实现端到端高精度的滚动轴承故障诊断。
1. 基础模型和整体架构
1.1 基础模型
1.1.1 LSTM-ResNet模型
长短期记忆网络（long short-term memory，LSTM）是一种特殊的神经网络模型，该模型具有很好的解决序列问题的能力[12]。该模型的基元结构如图1所示。信息的传输主要通过3个门来完成：遗忘门、输入门和输出门。
LSTM是一种包含求和结构的卷积结构，其激活函数为ReLU，将输入设定为in，输出设定为O(in)，残差运算设定为R(in)，可得关联为O(in)=R(in)+in。LSTM-ResNet模型如图2所示。
1.1.2 LSTM-ResNet模型下的注意力机制
注意力机制[13]通过给重要信息分配更高的权重来强制网络更关注它们[14]。自注意力机制仅分析序列X中的点与其余点之间的关系。自注意力机制使用相似度评估函数来评估每个点之间的相似度，并选择相应的值作为输出。图3所示为LSTM-ResNet模型下的注意力结构。
对于数据样本xi，注意力加权样本为$ x_i^{\prime} $为
$$ x_i^{\prime} = {\alpha _i}{x_i} $$ (1) 式中：αi为注意力机制分配的权重。
$$ {\alpha _i} = \frac{{\exp(s({x_i},q))}}{{\displaystyle \sum\nolimits_{j = 1}^n {\exp(s({x_j},q))} }} $$ (2) 式中：n为样本数；s为重要性分数；s(xi, q)为可设计的注意力评分函数；q为任务相关的向量；exp(·)是用于使αi之和为1的指数函数。注意力机制通过分配不同的权重来区分数据样本的重要性。αi越大，xi对输出结果的影响就越大，网络应该更加关注xi。
1.2 整体架构
在LSTM-ResNet模型和其注意力机制的基础上，本文提出了基于自适应注意力LSTM-ResNet的滚动轴承故障诊断方法，该方法包括特征提取、特征学习和故障分类3个模块，如图4所示。其中，特征提取模块采用双向长短期记忆组以在复杂运行环境下充分提取滚动轴承的特征；特征学习模块则采用自适应注意力LSTM-ResNet架构，将不同时刻的滚动轴承故障特征输入特征学习模型中，并将获得的隐藏状态作为注意力机制的输入；故障分类模块采用全局平均池化结合Softmax层完成较精准的滚动轴承故障分类。
2. 基于自适应注意力LSTM-ResNet的滚动轴承故障诊断方法
2.1 特征提取模型
滚动轴承的健康状况可通过装配在机械设备中的传感器所生成的感知数据进行监测[15]，而这些感知数据属于序列数据。滚动轴承的故障多发生于滚动体和内外圈长期磨损所形成的裂伤。
传统的信号处理方法提取感知数据统计特征只能反映信号的浅层信息[16]，而LSTM方法能够对滚动轴承故障诊断任务中的感知数据顺序特征进行长期依赖性建模。LSTM方法可以高效地提取原始感知数据中的隐藏特征，但是LSTM方法只能从正向捕获过去的信息，然而感知数据的过去和未来信息均对实际故障预测的应用有益，因此采用双向长短期记忆组（bidirectional group of long short-term memory, BG-LSTM）结合一个沿着感知数据向前移动的LSTM和另一个沿着感知数据向后移动的LSTM，以在复杂运行条件下充分提取滚动轴承的特征。双向LSTM的输出可以表示为
$$ {h_{{f_t}}} = \sigma ({w_1}{x_t} + {w_2}{h_{{f_{t - 1}}}} + {b_{{h_f}}}) $$ (3) $$ {h_{{b_t}}} = \sigma ({w_3}{x_t} + {w_4}{h_{{b_{t - 1}}}} + {b_{{h_b}}}) $$ (4) 式中：hft和hbt分别表示前向层和后向层的输出；wi表示两个LSTM元之间的权重（i=1, 2, 3, 4）；b为偏差向量。如图5所示，前向和后向的输出过程被连接成一个向量，作为双向LSTM组的特征向量。
2.2 特征学习模型
滚动轴承故障诊断的特征学习模型采用自适应注意力长短期记忆残差网络（adptive attention parallel long short-term memory residual network，AAP-LSTM ResNet）架构，该模型包含两个部分：第一部分将不同时刻的滚动轴承故障特征输入特征学习模型中，并输出后一个时刻的隐藏状态；第二部分将第一部分生成的隐藏状态作为注意力机制的输入，该注意力机制用于改变特征学习模型的权重，以加强模型中关键特征的权重。
自适应注意力LSTM-ResNet结构由LSTM-ResNet元构成，如图6所示，平行结构均设置为10个神经元节点。特征学习模型的关键是将传统神经网络的隐藏层替换为LSTM-ResNet元。单个LSTM-ResNet元中，可通过3个门可以完成状态信息的交换。遗忘门通过激活函数根据输入数据、隐层数据和上一时刻的LSTM-ResNet元的信息确定要遗忘的信息。输入门控制LSTM-ResNet组的状态更新，通过激活函数tanh可生成候选信息。输出门通过LSTM-ResNet组的控制在下一时刻生成短期信号ht。分别获得上层和下层的隐藏向量，然后将这两个向量相加以获得平行结构向量，hsi和hxi分别表示上层和下层获得的向量，i = 1, 2, ···, k。
$$ \begin{array}{*{20}{c}} {{h_1} = {h_{s1}} + {h_{xk}}} \\ {{h_2} = {h_{s2}} + {h_{x(k - 1)}}} \\ {...} \\ {{h_k} = {h_{sk}} + {h_{x1}}} \end{array} $$ (5) 在实验模型中，添加了自适应注意力机制以突出模型中关键特征的影响，产生新的向量权重，自适应注意力机制如图7所示。
因此，在特征学习模型中，上下层LSTM-ResNet组中生成的隐藏状态被视为注意力机制的输入。hi是用于计算注意机制的权重系数，其中：aki表示注意力层的权重，C为中间参数。
$$ C = \sum\limits_{i = 1}^k {{a_{ki}}} $$ (6) 最终所得的特征向量hik'是最后一个节点的隐藏层向量，中间参数可根据式（6）～式（7）自适应调整。
$$ h'_{ik}= C{h_i} $$ (7) 2.3 故障分类模块
通过特征学习模型所得的k个最终特征hik'将用于滚动轴承的故障分类。采用GAP可缓解模型过拟合问题[17]。然后，采用连接操作来融合k个特征，并计算最终特征向量v。
$$ \boldsymbol{v}=Concat(h_{ik'}) $$ (8) 特征向量v被输入到Softmax层中，以推导出不同故障类别的概率分布[18]。特别是如果机器有h个健康状态，则将特征向量v首先馈送到一个全连接层中，并得到未缩放的参量q，即：
$$ q = W{\boldsymbol{v}} + {\boldsymbol{b}} $$ (9) 式中：W是全连接层的权重矩阵，b表示偏置向量。
然后，将参量q转换为概率分布参量p，参量p的第j个元素定义如下：
$$ {p_j} = \frac{{\exp ({q_j})}}{{\displaystyle \sum\nolimits_{i = 1}^h {\exp ({q_i})} }} $$ (10) 式中：j=1, 2, ···, h；pj表示信号样本x属于类别j的概率，$\displaystyle \sum\nolimits_{j = 1}^h {p_j}=1$。最终，故障类型y可通过找到参量p的最大值来确定，即：
$$ y=\mathrm{\text{ }argmax}(p) $$ (11) 交叉熵是优化模型的损失函数[19]，可表示为
$$ L = - \frac{1}{N}\sum\limits_{i = 1}^N {\sum\limits_{j = 1}^h {\mathop {p{'_{i,j}}}\limits^{} } } \log {p_{i,j}} $$ (12) 式中：N表示样本数，pi,j是第i个样本属于第j个故障类型的概率，$p'_{i,j} $表示相应的真实值。然后计算L的梯度，进行反向传播以更新每一层的权重。滚动轴承故障分类模块的模型如图8所示。
3. 实验分析与研究
3.1 实验设定与数据描述
3.1.1 实验设定
模型训练中使用的优化器是Adam，批处理大小为32，丢失率为0.2。每个实验案例运行50个epochs。运行5次后记录并计算准确率的平均值和标准差。为了减少训练过程中的波动并提高通用性，采用了学习率衰减策略。当验证损失在连续3个epochs没有降低时，学习率将减半。实验数据来自凯斯西储大学（CWRU）轴承数据中心的电机驱动机械系统标准加速度数据集。图9所示为CWRU的滚动轴承测试台。
实验平台由1.5 kW电机、扭矩传感器、功率仪和电子控制器等器件组成。本实验使用驱动端滚动轴承的数据，滚动轴承型号为6205-2RS JEM SKF，电机转速为1 772 r/min，负载为1 hp，采样频率为12 kHz。
3.1.2 CWRU数据描述
振动信号是由一台有16个通道的数据记录器所收集。滚动轴承故障数据集见表1，包括正常工作状态和3种故障类型：内圈故障、外圈故障和滚珠故障。每种故障都包括0.007英寸、0.014英寸和0.021英寸的损伤程度，总共有10种状态。振动信号的部分时域波形如图10所示。从图中可以看出，正常信号的时间域图处于均匀波动状态。然而，在其他故障状态下，时域信号中出现了一些不规则波态和冲击特征，与正常信号相差很大。因此，通过深度学习算法提取振动信号的时域特征是可行的。然后，原始振动信号被分成10 000个数据样本，总共有10种状态，每种状态包括1 000个样本，每个数据样本的长度为1024。该数据集以7:3的比例划分为训练集和测试集；训练集包含7 000个样本，测试集包含3 000个样本。
表 1 滚动轴承振动数据故障位置 故障尺寸/英寸 样本数目 标记 标签 正常 0 1000 0 Z 滚动球 0.007 1000 1 G07 0.014 1000 3 G14 0.021 1000 4 G21 内圈故障 0.007 1000 5 N07 0.014 1000 6 N14 0.021 1000 7 N21 外圈故障 0.007 1000 8 W07 0.014 1000 9 W14 0.021 1000 10 W21 3.2 结果分析
使用各故障标记样本进行滚动轴承故障诊断实验，评估了所提方法的故障诊断准确性，并将其与基于深度学习的故障诊断方法，即文献方法[6]的SVD-ResNet模型和文献方法[8]的宽卷积模型进行比较。在每组测试中，对于每种故障类别，样本被随机选择作为已知样本，标签已删除的其余训练样本用作未知样本。不同方法在测试数据集上的诊断准确性结果如图11所示,展示了不同模型随标记样本数量增加的准确性比较。为了减少训练过程中的随机性影响，将30次实验结果的平均值作为最终结果。
由图1可知，所有算法的诊断准确性随标记样本数量的增加而提高，并且当标记样本数量达到一定水平时，所有算法的准确性在84.7%以上，表明标记样本数量对模型性能有重大影响。本文方法在所有条件下，实验结果的准确性均优于其他方法，特别是在标记样本数量受限的情况下。仅有50个标记样本，准确率就可以达到70.5%，比SVD-ResNet高约21个百分点，比宽卷积模型高约19个百分点。这说明SVD-ResNet只从标记数据中学习，当标记样本较少时，模型往往会过拟合，导致泛化能力更低。前面的实验结果表明，与SVD-ResNet和宽卷积模型相比，本文方法获得了较优的结果，并且对于有限标记样本的故障识别更具有优势。与其他方法相比，本文提出的自适应注意力LSTM-ResNet模型显著提高了准确性，充分证明了自适应注意力LSTM-ResNet模型在滚动轴承故障诊断中的优越性。
为了更直观地分析自适应注意力LSTM-ResNet方法的效果，使用混淆矩阵比较预测结果和实际故障类型。图12中，横轴是实际的滚动轴承故障状态，纵轴是预测滚动轴承故障的各种状态标签。混淆矩阵中每个电机状态的预测值对应真实值，对角线中的数据代表准确估计的滚动轴承故障类型的概率，其他列的数据则代表被错分到其他类型故障的概率。
3.3 算法性能分析
3.3.1 损失值对比分析
为了进一步比较每种算法在训练过程中的学习效果。图13给出了当标记样本数量为50时，不同算法在训练过程中损失值的变化图。从图中可以看出，与其他算法相比，本文方法收敛速度更快，在相同的迭代次数下具有最低的损失值。虽然SVD-ResNet和宽卷积模型的下降速度相似，但宽卷积模型的表现略好于SVD-ResNet。结果表明，本文方法具有更强的特征提取能力，并且可以快速学习故障特征，使模型收敛。
3.3.2 噪声环境下的准确度分析
由于实际工作环境通常伴随着噪声干扰，因此提高诊断模型的鲁棒性并有效地抑制噪声有重要意义。在实验中，人为添加具有不同信噪比的高斯白噪声信号到振动信号中，可以模拟实际的工作噪声环境。白噪声与振动信号的原始时域波形混合，可形成信噪比在2～10 dB的信号。在没有噪声信号的训练样本上训练后，将包含2～10 dB高斯白噪声信号的3 000个测试样本导入经过训练的自适应注意力LSTM-ResNet模型进行测试，并与其他深度学习模型进行比较，所获得的不同信噪比下各种算法准确率直方图比较结果如图14所示。
结果表明，在相同的训练集上训练后，所有深度学习方法都可以在信噪比大于10 dB的3 000个测试样本上实现超过60%的分类准确率。当信噪比降低时，每个模型的分类准确率显著降低。从下降速度而言，当测试集的信噪比从2 dB上升到10 dB时，宽卷积模型的准确率下降最多，达到21.4%，SVD-ResNet模型的准确率下降9.6%，本文方法的准确率只下降了8.6%。因此，本文提出的自适应注意力LSTM-ResNet方法在滚动轴承诊断中具有比其他算法更高的分类准确性和抗噪性能。
4. 结语
本文在LSTM-ResNet模型和其注意力机制的基础上，提出基于自适应注意力LSTM-ResNet的滚动轴承故障诊断方法。该方法包括特征提取、特征学习和故障分类3个模块。特征提取模块可在复杂运行条件下充分提取滚动轴承的特征；特征学习部分能充分学习滚动轴承故障特征，并增强关键特征的权重；然后，输入至GAP下的Softmax模型完成故障分类。在CWRU数据集上完成测试。结果表明，本文方法的滚动轴承故障检测准确率相对于SVD-ResNet和宽卷积模型更高，并且能在标记样本数量较少的情况下达到较高的检测准确率。此外，本文方法在嘈杂的环境中表现出很高的性能，特别是在信噪比较小的情况下仍然可以实现较高的分类准确率。因此，本文方法具有更高的准确性和更强的鲁棒性。
-
表 1 滚动轴承振动数据
故障位置 故障尺寸/英寸 样本数目 标记 标签 正常 0 1000 0 Z 滚动球 0.007 1000 1 G07 0.014 1000 3 G14 0.021 1000 4 G21 内圈故障 0.007 1000 5 N07 0.014 1000 6 N14 0.021 1000 7 N21 外圈故障 0.007 1000 8 W07 0.014 1000 9 W14 0.021 1000 10 W21 
下载: 导出CSV
-
[1] 郑近德,李嘉绮,潘海洋,等. 基于二维多尺度时频散布熵的滚动轴承故障诊断方法[J]. 振动与冲击,2023,42(8):215-225. [2] 李兆飞. 数据驱动的轴承早期故障诊断技术综述[J]. 机械传动,2023,47(3):165-176. [3] 蒋佳炜,胡以怀,丁梦豪,等. 基于相对混乱度特征选择的船舶风机智能状态监测与故障诊断[J]. 上海海事大学学报,2023,44(1):88-94. [4] 张希,廖宇兰,李沁逸,等. 安全行驶下的车用滚动轴承的数字孪生故障诊断[J]. 汽车安全与节能学报,2023,14(2):232-238. [5] 赵志宏,李春秀,李乐豪,等. 一种机械设备故障诊断的FD-Transformer方法[J]. 振动与冲击,2023,42(8):326-333. [6] Cui L L,Sun M X,Zha C Q,et al. Early bearing fault diagnosis based on the improved singular value decomposition method[J]. International Journal of Advanced Manufacturing Technology,2023,124(11/12):3899-3910.
[7] Li L F,Yao L N. Incipient fault prediction based on generalised correntropy filtering for non-Gaussian stochastic systems[J]. International Journal of Systems Science,2021,52(14):3035-3043. DOI: 10.1080/00207721.2021.1918281
[8] Zhu R,Wang M X,Xu S Y,et al. Fault diagnosis of rolling bearing based on singular spectrum analysis and wide convolution kernel neural network[J]. Journal of Low Frequency Noise Vibration and Active Control,2022,41(4):1307-1321. DOI: 10.1177/14613484221104639
[9] Wang H,Liu Z L,Peng D,et al. Attention-guided joint learning CNN with noise robustness for bearing fault diagnosis and vibration signal denoising[J]. ISA Transactions,2022,128:470-484.
[10] 高玉才,付忠广,王诗云,等. 基于Bi-LSTM和自注意力机制的旋转机械故障诊断方法研究[J]. 中国工程机械学报,2022,20(3):273-278. [11] 韩争杰,牛荣军,马子魁,等. 基于注意力机制改进残差神经网络的轴承故障诊断方法[J]. 振动与冲击,2023,42(16):82-91. [12] 段智峰,谢丽蓉,崔传世,等. 基于Attention-CGDNN模型的滚动轴承故障诊断方法[J]. 轴承,2023,521(4):80-86. [13] 许春,徐维,胡杰. 基于注意力机制的数控机床进给轴深度学习故障诊断[J]. 机床与液压,2023,51(7):214-219. [14] 任彦洁,唐晓刚,张斌权,等. 基于时间卷积网络的通信信号调制识别算法[J]. 无线电工程,2023,53(4):807-814. [15] 路小娟,石成基. 一种基于概率盒—HGWO优化SVM的滚动轴承故障诊断方法[J]. 振动与冲击,2021,40(22):234-241. [16] 王鹏,程秀芳. 基于高斯函数的小波基的构造方法及在滚动轴承故障诊断中的应用研究[J]. 机械强度,2021,43(5):1050-1055. [17] 池永为,杨世锡,焦卫东. 基于LSTM-RNN的滚动轴承故障多标签分类方法[J]. 振动. 测试与诊断,2020,40(3):563-571. [18] Afia A,Rahmoune C,Benazzouz D,et al. New gear fault diagnosis method based on MODWPT and neural network for feature extraction and classification[J]. Journal of Testing and Evaluation,2021,49(2):1064-1085. DOI: 10.1520/JTE20190107
[19] Singh V,Verma N K. Intelligent condition-based monitoring techniques for bearing fault diagnosis[J]. IEEE Sensors Journal,2021,21(14):15448-15457. DOI: 10.1109/JSEN.2020.3021918
计量
- 文章访问数: 68
- HTML全文浏览量: 7
- PDF下载量: 19
