一种基于知识图谱的SMT智能故障诊断模型设计与实现
doi: 10.7641/CTA.2024.30625
崔更申1 ， 李书漪2 ， 黄春跃2 ， 梁颖3,4 ， 张怀权2 ， 曹知勤4
1. 桂林电子科技大学计算机与信息安全学院, 广西 桂林 541004
2. 桂林电子科技大学机电工程学院, 广西 桂林 541004
3. 成都航空职业技术学院信息工程学院, 四川 成都 610021
4. 四川省钒钛材料工程技术研究中心, 四川 攀枝花 617000
基金项目: 国家自然科学基金项目(62164002), 广西重点研发计划项目(桂科AB23075076), 四川省钒钛材料工程技术研究中心开放基金项目(2023FTGC08), 桂林电子科技大学研究生教育创新计划项目(2023YCXS011, 2023YCXS014, 2023YCXS019)资助.
Design and implementation of an SMT intelligent fault diagnosis model based on knowledge graph
CUI Geng-shen1 ， LI Shu-yi2 ， HUANG Chun-yue2 ， LIANG Ying3,4 ， ZHANG Huai-quan2 ， CAO Zhi-qin4
1. School of Computer Science and Information Security, Guilin University Of Electronic Technology, Guilin Guangxi 541004 , China
2. School of Mechanical and Electrical Engineering, Guilin University Of Electronic Technology, Guilin Guangxi 541004 , China
3. School of Electronical and Information Engineering, Chengdu Aeronautic Vocational and Technical College, Chengdu Sichuan 610021 , China
4. Sichuan Province Engineering Technology Research Center of Vanadium and Titanium Materials, Panzhihua Sichuan 617000 , China
Funds: Supported by the National Natural Science Foundation of China (62164002), the Guangxi Key Technologies R&D Program (AB23075076), the Open Fund Project of Sichuan Province Engineering Technology Research Center of Vanadium and Titanium Materials (2023FTGC08) and the Graduate Education Innovation Program Fund of Guilin University of Electronic Science and Technology (2023YCXS011, 2023YCXS014, 2023YCXS019).
摘要
针对表面组装生产工艺复杂、生产过程易出现设备故障和工艺缺陷的特点, 本文设计了一种基于故障知识图谱的面向表面组装生产的智能故障诊断模型. 同时针对知识图谱构建过程的关键技术–故障实体抽取进行研究, 设计并实现了一种基于BERT-Residual-BiLSTM-CRF的面向表面组装生产故障日志的故障实体抽取模型. 首先根据表面组装技术(SMT)故障日志文本构建故障实体抽取模型的训练、测试数据集, 其次采用TensorFlow框架搭建SMT 故障实体抽取模型, 最后利用训练好的模型进行对照试验. 结果表明, 所设计的故障实体抽取模型的故障实体识别精确率、召回率和F值平均值较基础模型BERT-BiLSTM-CRF分别提高了约0.26, 0.28和0.24.
Abstract
Aiming at the complexity of the surface assembly production process, the production process is prone to equipment failures and process defects, this paper designs an intelligent fault diagnosis model based on fault knowledge graph for surface assembly production. At the same time, the key technology of knowledge graph construction process-fault entity extraction is studied, and a fault entity extraction model based on BERT-Residual-BiLSTM-CRF for surface assembly production fault logs is designed and implemented. Firstly, the training and testing datasets of the fault entity extraction model are constructed based on the text of surface mount technology (SMT) fault logs, secondly, the TensorFlow framework is used to build the SMT fault entity extraction model, and finally, the trained model is used to conduct controlled experiments. The results show that the fault entity recognition accuracy, recall and mean F-value of the designed fault entity extraction model are improved by about 0.26, 0.28 and 0.24 compared with the base model BERT-BiLSTM-CRF, respectively.
1 引言
表面组装生产即利用表面组装技术（surface mount technology，SMT）在印刷电路板上进行表面贴装化的电子元器件组装，是电子产品制造过程的关键环节，具有制造流程繁琐 [1]、工艺控制复杂 [2]、工艺参数设定严格 [3] 的特点. 在实际表面组装生产过程中，经常会因为某些细微的纰漏导致设备故障和工艺缺陷的出现，进而在影响电子产品组装质量的同时，造成生产资料浪费、生产线停产和生产计划滞后的问题. 为了更好地解决这些问题以提高企业竞争优势，利用历史故障数据进行故障辅助诊断成了表面组装生产企业提高生产故障解决能力的重要实现途径.
然而，包括电子制造业在内的制造业中的生产故障问题具有形式多样、数据冗多繁杂的特点. 故障之间的联系多以非结构化数据的形式存在于各类故障日志中，没有有机的联系，使得表面组装生产企业难以利用生产过程的历史故障数据进行故障辅助诊断，而采用故障知识图谱技术可以有效解决这一问题. 故障知识图谱以故障实体为节点、以故障实体间的关系为节点关系建立图结构形式的故障数据库，具有存储形式规范、构建方式灵活和可扩展性好的特点 [4]，能够以图谱形式展现故障信息及故障之间的关系，降低了表面组装生产基于历史故障数据进行故障辅助诊断的实现难度.
目前，国内外学者基于知识图谱对故障诊断问题开展了相关研究. 如: 李新琴等 [5] 设计了一种基于多维分词表示的BiLSTM-CRF高速铁路信号设备故障实体与关系抽取模型，该模型在高速铁路信息的故障知识抽取问题中具有应用价值. 韩涛等 [6] 建立Transformer-CRF航空发动机故障实体抽取模型，验证了 Transformer模型的鲁棒性. 田嘉鹏等 [7] 设计了一种基于BERT，BiRNN 和条件随机场（ conditional random field，CRF）的电力设备故障实体抽取模型 I-BRC，促进了电力诊断自动化的实现. 袁培森等 [8] 利用BERT 抽取水稻表型组学关系，解决了水稻表型关系知识图谱建立过程的实体抽取问题. 聂同攀等 [9] 提出了一种基于知识图谱的面向飞机电源系统的故障诊断技术，通过利用专家知识构建知识图谱，实现了故障问题的智慧搜索和智能诊断. 蒋晨等 [10] 设计了一种基于BERT，K-Means++的聚类算法用于抽取变压器故障描述中的故障实体，实现了对包含多故障类型故障描述文本的高准确率识别. 吴亮东 [11] 提出了基于SMT质量大数据分析的知识图谱构建方法，实现了SMT生产中各类数据中蕴含知识的自动提取、统一管理和应用. 程红雨 [12] 对工艺知识图谱的构建以及图计算算法进行了研究，设计开发了基于BiLSTM-CRF模型的制造行业工艺知识图谱平台. 刘璐 [13] 基于BERT-BiLSTMCRF模型构建了电子元器件领域知识图谱，同时为解决电子元器件知识图谱存在的不完整性问题，对知识图谱补全技术展开了研究. Li 等 [14] 设计了一种基于 BiLSTM-CRF的功率缺陷文本命名实体识别模型，可以为电力设备的缺陷分析和辅助决策提供帮助. 董理科等 [15] 提出了一种基于知识图谱的电力变压器故障预测方法，并通过试验验证了该方法在小数据样本情况下较神经网络与逻辑回归预测的优越性. Mallak 等 [16] 针对暖通空调系统故障检测和诊断的复杂性问题，提出了一种基于模拟模型、语义模型和诊断有向图的解决方法，提高了对暖通空调系统的运行效率和用户舒适度. Kang等 [17] 针对银行系统事故管理中存在的知识获取困难问题，提出了基于知识支持的银行事故管理方法，有效解决了银行系统事故管理中的知识获取问题，为事故分析、原因调查和决策提供了重要支持. Ali Hur等 [18] 介绍了知识图谱在智能应用中的重要性，探讨了自动化构建知识图谱技术对提升各行业中的机器理解、智能应用等方面的重要意义. 总结以上学者针对基于知识图谱进行故障诊断问题的研究现状可知，当前基于知识图谱的故障诊断研究尚处于起步阶段，现有研究在民航、电网和列控故障诊断领域的应用较多，关于表面组装生产领域的应用尚未见报道. 然而在实际生产过程中，表面组装生产企业经常因未能及时找出造成产品缺陷的原因而导致生产计划滞后的问题. 因此，通过构建知识图谱分析表面组装生产线的缺陷故障问题，对提高表面组装生产企业分析、解决产品缺陷问题的能力有重要意义. 并且目前国内外学者使用的命名实体抽取模型主要以基于 BiLSTM-CRF，BERT-CRF，Transformer-CRF 及BERT-BiLSTM-CRF的实体抽取模型为主，以上几种模型在运行时可能存在收敛过慢、无法抽取过长序列、抽取特征能力不够强、及易出现过拟合和梯度消失等缺点，使用这些模型进行实体抽取时可能会导致精确度不高、故障文本缺失等问题.
基于以上现状，本文设计了一种基于表面组装生产故障知识图谱（下文简称“SMT故障知识图谱”）的面向表面组装生产的智能故障诊断模型（下文简称“SMT 智能故障诊断模型”），用于建立表面组装产线故障知识图谱及进行产品缺陷分析. 同时针对故障知识图谱搭建过程的故障实体抽取问题设计了一种基于BERTResidual-BiLSTM-CRF（下文简称“BERT-RBiLSTMCRF”）的面向表面组装生产的故障实体抽取模型（下文简称“SMT故障实体抽取模型”），该模型较上述实体抽取模型的查准率、查全率和整体性能都有很大的提升. 表面组装生产企业基于本文设计的SMT智能故障诊断模型进行产品缺陷分析，能够提高表面组装企业对设备故障和工艺缺陷这类生产故障的分析能力和解决能力，缩短产品缺陷和设备故障的排除周期，保证订单能够按时完成.
2 SMT智能故障诊断模型实现原理
本文设计的基于SMT故障知识图谱SMT智能故障诊断模型实现原理如图1所示. 由图1可见，基于SMT 故障知识图谱的SMT智能故障诊断模型的运行过程包括建立故障知识图谱和故障诊断两个步骤.
图1SMT智能故障诊断模型实现原理
Fig.1SMT intelligent fault diagnosis model realization principle
SMT 故障知识图谱是SMT 智能故障诊断模型实现智能故障诊断的数据依据和知识来源，因此要在故障诊断之前搭建SMT故障知识图谱. 搭建SMT故障知识图谱的过程如下: 1）由SMT故障实体抽取模型对表面组装生产企业生产过程产生的故障日志文本（下文简称“SMT故障日志文本”）进行故障实体抽取操作得到SMT故障实体; 2）采用Python编程语言以故障实体为节点，故障实体间的关系作为连线，基于Neo4j图数据库建立SMT故障知识图谱.
由图1可见，文中设计的SMT智能故障诊断模型利用SMT故障知识图谱进行故障诊断的实现过程如下: 1）操作者通过SMT智能故障诊断模型的故障诊断交互平台输入SMT故障描述信息; 2）SMT故障实体抽取模型对输入的SMT故障描述信息进行故障实体抽取操作得到 SMT 故障实体; 3）查询语句生成模型根据SMT故障实体生成查询语句; 4）SMT智能故障诊断模型利用查询语句对Neo4j图数据库中的SMT故障知识图谱进行查询，并将得到的SMT故障诊断结果通过故障诊断交互平台展示给操作者，以指导操作者进行故障排除，从而实现对表面组装生产故障的智能诊断.
以下本文将对图1所示的SMT智能故障诊断模型展开详细描述.
3 SMT故障实体抽取模型设计与实现
面向表面组装生产的故障实体抽取（下文简称 “SMT故障实体抽取”）即通过SMT故障实体抽取模型从SMT故障日志文本抽取出类似故障位置faultPos、故障类型faultCat、故障原因faultCau和故障解决方案 faultSol 等 SMT故障关键字. 本文设计的 SMT 故障实体抽取模型是利用PyCharm开发平台运用Python编程语言基于keras神经网络开发库进行开发实现的.
3.1 SMT故障实体抽取模型的构成部分
3.1.1 BERT模型
BERT是以Transformer编码器为基础的双向自注意模型，其模型结构图如图2所示. 其中，Transformer 编码器Trm的模型图如图3所示，Transformer编码器 Trm主要包含多头注意力层、残差标准化层和前馈网络层3部分. 多头注意力层用于计算SMT故障文本句子中的每个字符与句中所有字符之间的关系，其中多头注意力层的计算过程如式（1）和式（2）所示:
headi=AQi,Ki,Vi=SQi×KiTdkVi,
(1)
MultiHead(Q,K,V)=Concat head iWo,
(2)
残差标准化层会对多头注意力层的输入、输出求和，保证数据在经过处理后仍保留有原有的信息; 前馈网络层会对输出向量的形状进行处理，保证处理后的向量形状与多头注意力层输入向量的形状保持一致.
图2BERT模型图
Fig.2BERT model diagram
图3Trm模型图
Fig.3Trm model diagram
3.1.2 BiLSTM模型
长短期记忆人工神经网络（long short-term memo-ry，LSTM）模型结构图如图4所示. LSTM通过遗忘门和记忆门实现无用信息的遗忘和有用信息的记忆，从而得到一个与输入序列长度一样且包含有前后序列关系的时序输出序列. 遗忘门ft计算过程如式（3）所示:
ft=σWf⋅Concatht-1,xt+bf,
(3)
记忆门it的计算过程如式（4）所示，其计算原理与遗忘门类似:
it=σWi*Concatht-1,xt+bi,
(4)
t时刻的临时细胞状态C-t和细胞状态Ct的计算过程如式（5）–（6）所示:
C-t=tanh⁡Wc*Concatht-1,xt+bc,
(5)
Ct=ft*Ct-1+it*C-t,
(6)
输出门ot和t时刻的隐藏层ht的输出如式（7）–（8）所示:
ot=σWo*Concatht-1,xt+bo,
(7)
ht=ot*tanh⁡Ct
(8)
图4LSTM模型图
Fig.4LSTM model diagram
BiLSTM即双向LSTM，其模型结构图如图5所示. BiLSTM可同时对时序信息进行顺序抽取和逆序抽取后，再将顺序抽取的信息和逆序抽取的信息拼接在一起得到一个输出序列. 通过对信息同时进行顺序抽取和逆序抽取，一方面可同时获取顺序时序关系和逆序时序关系; 另一方面也可避免因时序过长导致前向信息丢失现象的出现.
图5BiLSTM模型图
Fig.5BiLSTM model diagramm
3.1.3 CRF模型
CRF是一种概率无向图，能够在给定输入变量的情况计算出输出变量的条件概率分布. BiLSTM 模型和BERT模型可以提取出SMT故障文本句子中的字符间关系，但却无法感知SMT故障实体与相邻标签间的依赖关系，例如句子开头不可能是I类标签，O类标签不可能出现在同类实体的I类标签之间，一类故障实体的标签不可能出现在另一类故障实体标签之间. CRF 会根据标签间的转移关系得到一个概率转移矩阵，从而得到一个全局的最优标签序列.
3.2 SMT故障实体抽取模型设计
3.2.1 BERT-RBiLSTM-CRF故障实体抽取模型设计
本文设计的基于 BERT-RBiLSTM-CRF（BERTResidual-BiLSTM-CRF）的SMT故障实体抽取模型结构如图6所示.
图6BERT-RBiLSTM-CRF模型结构
Fig.6BERT-RBiLSTM-CRF model structure
由图6可见，基于BERT-RBiLSTM-CRF的SMT故障实体抽取模型包括数值化层、BERT层、RBiLSTM 层、CRF层和故障实体输出层5部分，其中: 1）数值化层用于实现SMT故障文本的数值化操作和生成故障文本序列的位置矩阵，通过利用建立的字典进行映射处理将SMT故障日志文本的文字序列转换为可以被计算机处理的数字序列后，将得到的数字序列和位置矩阵一起输入BERT层; 2）BERT层会通过向量化处理将数值化层输出的数值序列转换为高维稠密向后，利用自注意力机制从向量化得到的高维稠密向量中抽取出输入SMT故障日志文本句子中每个字符与句中所有字符间的关系; 3）RBiLSTM 层会利用前向顺序关联和逆向顺序关联从BERT输出向量中提取出序列的顺序关系和逆序关系; 4）CRF层会在RBiLSTM输出向量后加上一个概率转移矩阵，保证得到的CRF输出向量符合故障文本标签序列的标注规则，以提高 SMT 故障实体抽取模型对故障实体的识别准确率; 5）故障实体输出层会根据CRF输出的BIO标签序列对输入的SMT故障日志文本序列进行故障实体划分，得到faultPos，fault Cau，faultCat和faultSol这4类故障实体对应的文本内容.
文中基于残差网络结构 ResNet设计的RBiLSTM 模型（图6所示BERT-RBiLSTM-CRF模型中）即BERTResidual-BiLSTM-CRF模型，其模型结构如图7所示.
图7RBiLSTM模型结构
Fig.7RBiLSTM model structure
由图7可见，RBiLSTM 中引入了一个残差连接（skip-connect）结构. 由于BERT利用自注意力机制已经从向量化操作得到的高维稠密向量中抽取到了SMT 故障日志文本中每个字符与其它字符间的关系，因此在利用BiLSTM进行顺序关系和逆序关系提取时，可能导致模型的过拟合和梯度消失. RBiLSTM的残差连接将BERT输出向量X与BiLSTM 输出向量B（X）拼接在一起作为CRF层的输入. 当BiLSTM出现过拟合和梯度消失时不会导致整个模型出现过拟合和梯度消失，可有效避免模型过拟合和梯度消失的出现.
3.2.2 对照试验模型设计
为了验证本文设计的基于BERT-RBiSTM-CRF的 SMT故障实体抽取模型相比于现有故障实体抽取模型的优越性，本文搭建了基于 BiLSTM-CRF，BERTBiLSTM-CRF的SMT故障实体抽取模型作为对比模型进行对照试验. 文中设计的对照试验模型如图8所示，其中图8（a）是基于BiLSTM-CRF的SMT故障实体抽取模型，图8（b）是基于BERT-BiLSTM-CRF的SMT 故障实体抽取模型.
由图8（a）可见，基于BiLSTM-CRF的 SMT故障实体抽取模型包括数值化层、Embedding层、BiLSTM 层、CRF层和故障实体输出层 5部分. 其中，数值化层、CRF 层和故障实体输出层的功能已在 BERTRBiLSTM-CRF模型中进行了介绍，此处不再赘述; Embedding层会对数值化层输出的数字序列进行向量化操作，将输入的SMT故障日志文本序列转换为可被计算机处理的高维稠密向量; BiLSTM用于从 Embedding层输出的高维稠密向量中抽取序列的顺序关系和逆序关系. 由图8（b）可见，基于BERT-BiLSTM-CRF 的SMT故障实体抽取模型包括数值化层、BERT层、 BiLSTM层、CRF层和故障实体输出层5部分. BERTBiLSTM-CRF模型各构成部分的功能已在上述描述中进行了说明，此处不再赘述.
图8对照试验模型
Fig.8Controlled trial model
3.3 SMT故障实体抽取模型训练
3.3.1 故障实体抽取模型的训练数据集设计
SMT故障实体抽取模型的训练数据样本由特征值、目标值两部分构成. SMT故障实体抽取模型训练数据样本集的制作过程如图9所示.
图9SMT故障实体抽取模型训练数据集制作过程
Fig.9SMT faulty entity extraction model training dataset production process
由图9可见，训练数据样本的特征值是SMT故障日志文本数值化、向量化操作得到高维稠密向量与位置向量的和向量，训练数据样本的目标值是对SMT故障日志文本进行故障实体标注所得的SMT故障实体标签序列. 本文以下内容将对SMT故障实体抽取模型的训练数据集制作展开详细描述.
1）训练数据样本的特征值处理.
本文基于收集的训练数据样本，采用字向量编码方式对SMT故障日志文本进行编码，实现了SMT故障日志文本的数值化操作. 将维基百科中文语料库的文本内容以一行一个字符的形式存放在一个文本文件中作为字向量编码操作的字典. 以字符所在行的行序号作为该字符对应的字向量编码值，通过逐个遍历 SMT故障日志文本中每个字符对应的字向量编码值，得到SMT故障日志文本的字向量编码示例如表1所示.
表1SMT故障日志文本的数值化序列
Table1Numeric sequence of SMT fault log text
SMT故障日志文本经过数值化得到的数值序列需要经过向量化操作转换为高维稠密向量才能作为训练数据样本特征值的一部分. 向量化操作即采用 BERT词嵌入方式或Embedding 方式得到数值序列中每个数字对应的高维字向量. 通过将 [batchSize，seqLen] 的数字序列转换一个 [batchSize，seqLen，embSize]的高维稠密向量，使得每个字符对应的数字被转换为一个[1，embSize]的稠密向量，实现了输入文本的向量化操作，其中: batchSize表示句子个数，seqLen表示句子长度，embSize表示词嵌入的维度数目.
由于同一字符在不同语句或在同一句话的不同位置所表达含义可能不同. 为了表征同一字符在同一文本的不同位置处的不同含义，输入SMT故障实体抽取模型的特征值还需要包括一个位置矩阵. 位置矩阵的形状为[batchSize，seqLen，embSize]，与输入文本向量化得到的稠密向量形状一样，其产生过程的数学表达式如式（9）–（10）所示. 式中的pos是字符在语句中的位置，取值范围为[0，seqLenMax），seqLenMax为设定最大句子长度. 式中的i是词嵌入维度值，取值范围是[0，embSize），其中: 当i的取值是偶数时，位置向量的计算采用式（9）计算; 当i取值是奇数时，位置向量的计算采用式（10）计算:
PE(pos,i)=sin⁡pos1000i/embSize,
(9)
PE(pos,i)=cos⁡pos1000i/embSize
(10)
2）训练数据样本的目标值处理.
SMT故障实体抽取是对表面组装生产企业在生产过程产生的故障日志文本按故障位置、故障类别、故障原因、故障解决方案进行故障实体抽取.
根据SMT故障日志文本的构成情况，本文设定了4 类故障实体类别，分别是故障位置faultCau、故障类型 faultCat、故障原因faultCau和故障解决方案faultSol. 在进行标签序列标注时，本文采用BIO序列标注法对 SMT故障日志文本中的字符序列进行标注，其中B表示一个实体的开始，I表示在实体内部，O表示不在任何一个实体内. 采用BIO序列对包含上述4类故障实体的SMT 故障日志文本进行标注时，一共包含O，BfaultCau，I-faultCau，B-faultCat，I-faultCat，B-faultCau，I-faultCau，B-faultSol和I-faultSol9 类SMT故障实体标签. 利用9类SMT故障实体标签对SMT故障日志文本进行故障实体标注，如表2所示.
3）模型训练数据集本文搜集到的422条SMT故障日志文本长度分布情况如图10所示，由图可见，故障日志文本的最小长度为 23，最大长度为 387，句子长度主要分布在35∼43之间.
本文以8: 2的比例随机将422条SMT故障日志文本分给训练集样本与测试集样本，其中，训练集样本数量为337，测试集样本数量为85. 并采用表2所示的 SMT故障实体标注方法对训练集样本、测试集样本中的文本进行标注得到训练模型的训练数据集、测试数据集. 训练数据集、测试数据集的4类故障实体的数量分布情况如图11所示，其中，图11（a）是训练数据集的故障实体数量分布情况，图11（b）是测试数据集的故障实体数量分布情况. 由图11（a）可见，4类故障实体在模型训练数据集中的数量占比均匀，未出现某种故障实体数量异常多或异常少的情况.
表2SMT故障日志文本故障实体标注示例
Table2SMT fault log text fault entity labeling example
图10故障日志文本的长度分布情况
Fig.10Length distribution of fault log text
3.3.2 SMT故障实体抽取模型训练
本文采用迁移学习 [19]，利用Google提供的开源模型作为预训练模型在本文设计的SMT故障实体抽取模型训练数据集上采用梯度更新法进行训练. 得出基于BiLSTM-CRF，BERT-BiLSTM-CRF和BERT-RBiLSTM-CRF的SMT故障实体抽取模型经过270次迭代训练的模型准确率变化图如图12所示.
图11故障实体数量分布情况
Fig.11Distribution of the number of failed entities
图12模型准确率变化图
Fig.12Plot of change in model accuracy
由图12可见，基于 BERT-RBiLSTM-CRF，BERTBiLSTM-CRF和BiLSTM-CRF的SMT故障实体抽取模型的最大准确率分别为 0.983 3，0.956 3 和0.861 7. BERT-RBiLSTM-CRF 较 BiLSTM-CRF 提高了约0.12 2，BERT-BiLSTM-CRF较BiLSTM-CRF提高了约 0.095.
3.4 SMT故障实体抽取模型性能分析
精确率、召回率和F值是评估神经网络模型性能的常用指标，其中: 精确率P是预测正样本中的正确样本占比，反映SMT故障实体抽取模型的查准率; 召回率R是正样本中被正确预测的样本占比，反映SMT 故障实体抽取模型的查全率; F值系综合反映精确率P、召回率R，计算公式为F=2×P×RP+R，反映SMT 故障实体抽取模型的综合性能. 以下本节内容将从模型精确率、召回率和F值对基于BiLSTM-CRF，BERTBiLSTM-CRF和BERT-RBiLSTM-CRF的SMT故障实体抽取模型性能进行评估.
3.4.1 SMT故障实体抽取模型精确率
图13是基于BiLSTM-CRF，BERT-BiLSTM-CRF和 BERT-RBiLSTM-CRF的3类SMT 故障实体抽取模型对故障位置faultCau、故障类型faultCat、故障原因 faultCau和故障解决方案faultSol4 类SMT 故障实体进行抽取时的识别精确率P分布图，macro avg是3类 SMT 故障实体抽取模型识别精确率的平均值.3类 SMT 故障实体抽取模型对4类SMT 故障实体进行抽取的识别精确率平均值 macroavg排序如下: BERTRBiLSTM-CRF >BERT-BiLSTM-CRF >BiLSTMCRF.
图13SMT故障实体抽取模型精确率
Fig.13SMT faulty entity extraction model accuracy
由3类SMT 故障实体抽取模型对 4类SMT 故障实体进行抽取时的模型识别精确率分布情况可知: 1）3 类SMT故障实体抽取模型对 4类SMT 故障实体的识别精确率排序为 BERTRB-iLSTM-CRF>BERTBiLSTM-CRF >BiLSTM-CRF; 2）对于faultPos的识别精确率，BERTRBiL-STM-CRF 模型较 BiLSTMCRF 模型提高了约0.66，BERT-BiLSTM-CRF模型较 BiLSTM-CRF模型仅提高了约0.06.
3.4.2 SMT故障实体抽取模型召回率
图14是基于 BiLSTM-CRF，BERT-BiLSTM-CRF 和BERT-RBiLSTM-CRF的3类SMT故障实体抽取模型对故障位置faultCau、故障类型faultCat、故障原因 faultCau和故障解决方案faultSol4类故障实体进行抽取时的识别召回率R分布图，macro avg是3类SMT故障实体抽取模型识别召回率的平均值.3类SMT故障实体抽取模型对4类SMT 故障实体进行抽取的识别召回率平均值macro avg排序如下: BERT-RBiLSTMCRF>BERT-BiLSTM-CRF>BiLSTM-CRF.
由3类SMT故障实体抽取模型对4类SMT故障实体进行抽取时的模型召回率分布情况可知: 1）BERTRBiLSTM-CRF模型对 4类故障实体的召回率均优于BERT-RBiLSTM-CRF模型和 BiLSTM-CRF 模型; 2）对于faultCat的召回率，BERT-RBiLSTM-CRF模型较BiLSTM-CRF 模型提高了约0.47，BERT-BiLSTMCRF模型较BiLSTM-CRF模型仅提高了约0.07; 3）对于faultPos的召回率，BERT-RBiLSTM-CRF模型较 BiLSTM-CRF 模型提高了约 0.51，BERT-BiLSTMCRF模型较BiLSTM-CRF模型却降低了约0.08.
3.4.3 SMT故障实体抽取模型F值
图15是基于 BiLSTM-CRF，BERT-BiLSTM-CRF 和BERT-RBiLSTM-CRF的3类SMT故障实体抽取模型对故障位置faultCau、故障类型faultCat、故障原因 faultCau和故障解决方案faultSol4类故障实体进行抽取时的识别F 值分布图，macro avg是3类SMT 故障实体抽取模型识别 F 值的平均值.3类 SMT故障实体抽取模型对4类SMT故障实体进行抽取的识别F值平均值macro avg排序如下: BERT-RBiLSTM-CRF >BERT-BiLSTM-CRF>BiLSTM-CRF.
图14SMT故障实体抽取模型召回率
Fig.14Recall of SMT faulty entity extraction models
图15SMT故障实体抽取模型F值
Fig.15SMT faulty entity extraction model F-value
由 3类SMT故障实体抽取模型对 4类SMT 故障实体进行抽取时的模型F值分布情况可知: 1）BERTRBiLSTM-CRF模型对4类SMT故障实体进行抽取时的F值均优于BERT-RBiLSTM-CRF模型和BiLSTMCRF模型; 2）对于抽取 faultPos时的F值，BERT-RBiLSTM-CRF模型较BiLSTM-CRF 模型提高了约0.55，BERT-BiLSTM-CRF模型较 BiLSTM-CRF 模型却降低了约 0.024; 3）对于抽取 faultCat时的 F 值，BERTRBiLSTM-CRF模型较 BiLSTM-CRF 模型提高了约 0.50，BERT-BiLSTM-CRF模型较BiLSTM-CRF 模型提高了约0.24.
基于以上SMT故障实体抽取模型的实体抽取测试结果可知，本文设计的引入了残差结构的BERT-RBiLSTM-CRF模型较基础模型BERT-BiLSTM-CRF的查准率、查全率和整体性能都有很大的提升.
4 故障知识图谱设计与实现
4.1 SMT故障知识图谱设计
总结表面组装生产企业在生产过程产生的故障日志文本，可以把表面组装生产过程产生的故障日志文本内容分解为故障位置、故障类别、故障原因和故障解决方案4部分，即“什么地方出现什么故障，造成故障的原因是什么，该怎么解决”.
本文基于此设计了一种SMT故障知识图谱图如图16所示. 由图16可见，SMT故障知识图谱包括故障位置faultPos、故障类别faultCat、故障原因faultCau和解决方案faultSol4类节点; 包括4类实体关系，分别是故障位置faultPos与故障类别faultCat之间的ST关系、故障类别faultCat与故障原因faultCau之间的TU关系、故障类别faultCat与解决方案faultSol之间的TL关系和故障原因faultCau 与解决方案faultSol之间的UL关系.
4.2 SMT故障知识图谱搭建
使用Python开发语言，利用SMT故障实体抽取模型，抽取出的SMT 故障实体基于Neo4j图数据库，以 SMT故障实体作为节点、SMT故障实体间的关系作为节点间的连线，构建 SMT 故障知识图谱示例如图17所示.
图17所示SMT故障知识图谱中的红色节点表示故障位置faultPos，蓝色节点表示故障类型faultCat，橘色节点表示故障原因 faultCau，紫色节点表示故障解决方案faultSol.
图16SMT故障知识图谱结构
Fig.16SMT fault knowledge graph structure
图17SMT故障知识图谱
Fig.17SMT fault knowledge mapping
由图17所示的SMT故障知识图谱可知，利用知识谱图技术构建SMT故障知识图谱具有以下优势: 1）通过将关联性极弱的SMT故障日志文本以故障知识图谱的形式进行呈现，展示效果更直观、更细致，可以从一个比较微观的视角对各类故障进行观察，提高了对各类SMT故障的认知; 2）通过“故障类型→故障原因/故障解决方案”或“ 故障类型→故障原因→故障解决方案”的正向推导思路可对当前故障的产生原因和故障解决方法进行分析，以辅助操作人员故障排除，提高了故障排除效率; 3）通过“故障原因→故障类型”的逆向推导思路，一方面可以挖掘出不同故障之间的内在关联，使得操作者能够以一个关联的思维方式进行故障分析; 另一方面可以通过对导致故障的原因进行分析，根据导致故障的原因对SMT生产制造过程的加工工艺进行改进，从源头上对故障发生率进行控制.
5 结论
1）设计了一种基于故障知识图谱的SMT智能故障诊断模型，表面组装生产企业能够以知识图谱的形式利用生产过程的历史故障数据进行故障诊断，缩短了表面组装生产企业的故障排除周期;
2）针对知识图谱构建过程的故障实体抽取问题，设计了一种基于BERT-RBiLSTM-CRF的SMT故障实体抽取模型，该模型性能明显优于 BERT-BiLSTMCRF，BiLSTM-CRF，其故障实体识别精确率、召回率和F值的平均值较基础模型BERT-BiLSTM-CRF分别提高了约0.26，0.28和0.24;
3）设计并构建了一个SMT故障知识图谱，能够挖掘出隐含在SMT故障日志文本中的故障关系，提高了表面组装生产企业历史故障数据的可利用度.
图1SMT智能故障诊断模型实现原理
Fig.1SMT intelligent fault diagnosis model realization principle
图2BERT模型图
Fig.2BERT model diagram
图3Trm模型图
Fig.3Trm model diagram
图4LSTM模型图
Fig.4LSTM model diagram
图5BiLSTM模型图
Fig.5BiLSTM model diagramm
图6BERT-RBiLSTM-CRF模型结构
Fig.6BERT-RBiLSTM-CRF model structure
图7RBiLSTM模型结构
Fig.7RBiLSTM model structure
图8对照试验模型
Fig.8Controlled trial model
图9SMT故障实体抽取模型训练数据集制作过程
Fig.9SMT faulty entity extraction model training dataset production process
图10故障日志文本的长度分布情况
Fig.10Length distribution of fault log text
图11故障实体数量分布情况
Fig.11Distribution of the number of failed entities
图12模型准确率变化图
Fig.12Plot of change in model accuracy
图13SMT故障实体抽取模型精确率
Fig.13SMT faulty entity extraction model accuracy
图14SMT故障实体抽取模型召回率
Fig.14Recall of SMT faulty entity extraction models
图15SMT故障实体抽取模型F值
Fig.15SMT faulty entity extraction model F-value
图16SMT故障知识图谱结构
Fig.16SMT fault knowledge graph structure
图17SMT故障知识图谱
Fig.17SMT fault knowledge mapping
表1SMT故障日志文本的数值化序列
Table1Numeric sequence of SMT fault log text
表2SMT故障日志文本故障实体标注示例
Table2SMT fault log text fault entity labeling example
FAN Yufeng. Analysis of quality improvement strategies for surface assembly processes of electronic devices. Applications of IC,2022,39(11):20-22.(范毓峰. 电子器件表面组装工艺质量改进策略分析. 集成电路应用,2022,39(11):20-22.)
ZHU Guibing. On the study of defects in the SMT manufacturing process of electronic products. Equipment for Electronic Products Manufacturing,2008,164(9):44-48.(朱桂兵. 论电子产品SMT制造工艺的缺陷研究. 电子工业专用设备,2008,164(9):44-48.)
GUO Ning. Exploring the quality improvement and application of surface assembly processes for electronic components. Practical Electronics,2021,418(8):84-86.(郭宁. 探讨电子元器件表面组装工艺质量改进及应用. 电子制作,2021,418(8):84-86.)
BIAN Jianan, MAO Zehui, JIAN Bin,et al. A fault diagnosis method for industrial production critical equipment based on knowledge graph and multi-task learning. Scientia Sinica Informationis,2023,53(4):699-714.(卞嘉楠, 冒泽慧, 姜斌, 等. 基于知识图谱和多任务学习的工业生产关键设备故障诊断方法. 中国科学: 信息科学,2023,53(4):699-714.)
LI Xinqin, SHI Tianyun, LI Ping,et al. Research on text-based fault knowledge extraction method for high-speed railway signaling equipment. Journal of the China Railway Society,2021,43(3):92-100.(李新琴, 史天运, 李平, 等. 基于文本的高速铁路信号设备故障知识抽取方法研究. 铁道学报,2021,43(3):92-100.)
HAN Tao, HUANG Haisong, YAO Liguo. Entity extraction for aeroengine fault knowledge graph construction. Combined Machine Tool and Automatic Machining Technology,2021,10(20):69-73.(韩涛, 黄海松, 姚立国. 面向航空发动机故障知识图谱构建的实体抽取. 组合机床与自动化加工技术,2021,10(20):69-73.)
TIAN Jiapeng, SONG Hui, CHEN Lifan,et al. A knowledge graph construction-oriented approach to textual entity recognition of equipment failures. Power System Technology,2022,6(25):1-10.(田嘉鹏, 宋辉, 陈立帆, 等. 面向知识图谱构建的设备故障文本实体识别方法. 电网技术,2022,6(25):1-10.)
YUAN Peisen, LI Runlong, WANG Chong,et al. A study on entity relationship extraction for rice phenotypic knowledge graph based on BERT. Transactions of the Chinese Society for Agricultural Machinery,2021,52(5):151-158.(袁培森, 李润隆, 王翀, 等. 基于BERT的水稻表型知识图谱实体关系抽取研究. 农业机械学报,2021,52(5):151-158.)
NIE Tongpan, ZENG Jiyan, CHENG Yujie,et al. Knowledge graph construction technology and application for fault diagnosis of aircraft power system. Acta Aeronautica ET Astronautica Sinica,2022,43(8):46-62.(聂同攀, 曾继炎, 程玉杰, 等. 面向飞机电源系统故障诊断的知识图谱构建技术及应用. 航空学报,2022,43(8):46-62.)
JIANG Chen, WANG Yuan, CHEN Min,et al. Transformer fault identification based on Kbert text clustering model. High Voltage Engineering,2022,48(8):2991-3000.(蒋晨, 王渊, 陈珉, 等. 基于Kbert文本聚类模型的变压器故障识别. 高电压技术,2022,48(8):2991-3000.)
WU Liangdong. Research on knowledge graph construction method based on SMT quality big data analysis. Xian: Xidian University,2022.(吴亮东. 基于SMT质量大数据分析的知识图谱构建方法研究. 西安: 西安电子科技大学,2022.)
CHENG Hongyu. Design and implementation of process knowledge mapping platform for manufacturing industry. Xian: Xidian University,2022.(程红雨. 制造行业工艺知识图谱平台的设计与实现. 西安: 西安电子科技大学,2022.)
LIU Lu. Research on knowledge graph construction and completion technology of electronic components. Guangzhou: South China University of Technology,2022.(刘璐. 电子元器件知识图谱构建与补全技术研究. 广州: 华南理工大学,2022.)
LI J B, FANG S W, REN Y Q,et al. SWVBiL-CRF: Selectable word vectors-based BiLSTM-CRF power defect text named entity recognition. Atlanta: International Conference on Big Data. New York, USA: IEEE,2020:2502-2507.
DONG Like, BAI Lu, WU Na,et al. Research on fault prediction method of power transformer based on knowledge graph. High Voltage Apparatus,2022,58(11):151-159.(董理科, 白鹭, 武娜, 等. 基于知识图谱的电力变压器故障预测方法研究. 高压电器,2022,58(11):151-159.)
MALLAK A, BEHRAVAN A, WEBER C,et al. A graph-based sensor fault detection and diagnosis for demand-controlled ventilation systems extracted from a semantic ontology. The 22nd International Conference on Intelligent Engineering Systems(INES). Las Palmas de Gran Canaria, Spain: IEEE,2018:377-382.
KANG W H, CHEUNG C F. Deep learning-based named entity recognition and knowledge graph for accidents of commercial bank. The 5th International Conference on Knowledge Innovation and Invention(ICKII). Hualien, Taiwan: IEEE,2022:103-107.
HUR A, JANJUA N, AHMED M. A survey on state-of-the-art techniques for knowledge graphs construction and challenges ahead. The 12th International Conference on Information Systems and Computing Technology(ISCTech). Xi’an, China: IEEE,2021:99-103.
LIU H, GU F, LIN Z. Auto-sharing parameters for transfer learning based on multi-objective optimization. Integrated Computer-Aided Engineering,2021,28(3):295-307.