高级检索

  • ISSN 1006-3080
  • CN 31-1691/TQ
引用本文:
Citation:

基于双向门控循环单元神经网络的间歇过程最终产品质量预测

    作者简介: 骆 楠(1994-),女,湖北人,硕士生,主要研究方向为化工过程建模。E-mail:y30170656@mail.ecust.edu.cn;
    通讯作者: 罗娜, naluo@ecust.edu.cn
  • 中图分类号: TQ021.8

Product Quality Prediction in Batch Process Based on Bidirectional Gated Recurrent Unit Neural Network

    Corresponding author: Na LUO, naluo@ecust.edu.cn
  • CLC number: TQ021.8

  • 摘要: 从具有共性的间歇过程终点质量预测问题出发,针对生产过程的时间序列特性进行分析,提出了一种基于双向门控循环单元网络的预测模型,对不等长间歇过程进行最终产品质量预测。结合实际生产中对预测值的要求,构建了适应间歇过程的损失函数,使模型在保证预测精度的前提下满足预测要求,从而获得更大的生产效益。将使用不同损失函数的双向门控循环单元网络与多向偏最小二乘(MPLS)、神经网络(NN)、支持向量回归(SVR)以及门控循环单元网络(GRU)的预测结果进行实验对比,结果表明双向门控循环单元网络具有更强的适用性和更高的准确性。
  • 图 1  间歇过程中的数据

    Figure 1.  Data in batch processes

    图 2  RNN结构

    Figure 2.  RNN structure

    图 3  RNN网络预测结构图

    Figure 3.  RNN network prediction structure diagram

    图 4  LSTM单元结构图

    Figure 4.  Structure of LSTM

    图 5  门控循环单元结构图

    Figure 5.  Structure of GRU

    图 6  BiRNN结构图

    Figure 6.  Structure of BiRNN

    图 7  损失函数对比图

    Figure 7.  Comparison of loss functions

    图 8  模型结构

    Figure 8.  Model structure

    图 9  6种算法的软化点预测结果

    Figure 9.  Softening point prediction results of six methods

    图 10  3种算法预测结果的绝对误差对比图

    Figure 10.  Absolute error comparison of three algorithms

    表 1  算法性能对比

    Table 1.  Performance comparison of different methods

    ModelRMSERRR2
    MPLS2.4310.4420.442
    NN1.7590.4650.891
    SVM1.7120.4880.896
    GRU-MSE0.9650.2550.966
    BiGRU-MSE0.6990.3480.982
    BiGRU-ALF0.7980.6510.977
    下载: 导出CSV
  • [1] CORBETT B, MHASKAR P. Subspace identification for data-driven modeling and quality control of batch processes[J]. AIChE Journal, 2016, 62(5): 1 581-601. doi: 10.1002/aic.15155
    [2] WANG D. Robust data-driven modeling approach for real-time final product quality prediction in batch process operation[J]. IEEE Transactions on Industrial Informatics, 2011, 7(2): 371-7. doi: 10.1109/TII.2010.2103401
    [3] 蒋昕祎, 李绍军, 金宇辉. 基于慢特征重构与改进DPLS的软测量建模[J]. 华东理工大学学报(自然科学版), 2018, 44(4): 535-542.
    [4] 郭晶晶, 杜文莉, 叶贞成. 自适应迭代混合建模及在碳二加氢过程的应用[J]. 化工学报, 2018, 69(11): 326-34.
    [5] NOMIKOS P, MACGREGOR J F. Multi-way partial least squares in monitoring batch processes[J]. Chemometrics and Intelligent Laboratory Systems, 1995, 30(1): 97-108. doi: 10.1016/0169-7439(95)00043-7
    [6] 李静, 刘爱伦. 叠加支持向量机及其在醋酸精馏软测量中的应用[J]. 华东理工大学学报(自然科学版), 2013, 39(2): 200-205. doi: 10.3969/j.issn.1006-3080.2013.02.016
    [7] JIN H, CHEN X, YANG J, et al. Multi-model adaptive soft sensor modeling method using local learning and online support vector regression for nonlinear time-variant batch processes[J]. Chemical Engineering Science, 2015, 131: 282-303. doi: 10.1016/j.ces.2015.03.038
    [8] 刘昊知, 胥布工, 高福荣. 基于时序模型迁移的间歇过程监测建模方法[J]. 控制与决策, 2015, 30(10): 1885-1889.
    [9] WANG J, YAN J, LI C, et al. Deep heterogeneous GRU model for predictive analytics in smart manufacturing: Application to tool wear prediction[J]. Computers in Industry, 2019, 111: 1-14. doi: 10.1016/j.compind.2019.06.001
    [10] YU W, KIM I I Y, MECHEFSKE C. Remaining useful life estimation using a bidirectional recurrent neural network based autoencoder scheme[J]. Mechanical Systems and Signal Processing, 2019, 129: 764-80. doi: 10.1016/j.ymssp.2019.05.005
    [11] WANG D, SRINIVASAN R. Multi-model based real-time final product quality control strategy for batch processes[J]. Computers & Chemical Engineering, 2009, 33(5): 992-1003.
    [12] 陈治纲, 许超, 邵惠鹤. 间歇过程优化与先进控制综述[J]. 化工自动化及仪表, 2003, 30(3): 1-6. doi: 10.3969/j.issn.1000-3932.2003.03.001
    [13] YAN Z, CHIU C C, DOING W, et al. Regularization-based statistical batch process modeling for final product quality prediction[J]. AIChE Journal, 2014, 60(8): 2 815-2 827. doi: 10.1002/aic.14476
    [14] SUTSKEVER I, VINYALS O, LE Q V. Sequence to sequence learning with neural networks[C]// Proceedings of the 27th International Conference on Neural Information Processing Systems. Montreal, Canada : MIT Press, 2014: 3 104-3 112.
    [15] CHO K, VAN MERRIENBOER B, GULCEHRE C, et al. Learning phrase representations using RNN encoder-decoder for statistical machine translation[J]. arXiv preprint arXiv: 14061078, 2014
    [16] HENG A, ZHANG S, TAN A C, et al. Rotating machinery prognostics: State of the art, challenges and opportunities[J]. Mechanical Systems Signal Processing, 2009, 23(3): 724-39. doi: 10.1016/j.ymssp.2008.06.009
    [17] HOCHREITER S, SCHMIDHUBER J. Long short-term memory[J]. Neural Computation, 1997, 9(8): 1 735-80. doi: 10.1162/neco.1997.9.8.1735
    [18] SCHUSTER M, PALIWAL K K. Bidirectional recurrent neural networks[J]. IEEE Transactions on Signal Processing, 1997, 45(11): 2 673-2 681. doi: 10.1109/78.650093
    [19] 李一斌, 张欢欢. 基于双向GRU-CRF的中文包装产品实体识别[J]. 华东理工大学学报(自然科学版), 2019, 45(3): 486-90.
    [20] ZHANG Q, MA Y, GU M, et al. End-to-end Chinese dialects identification in short utterances using CNN-BiGRU[C]//2019 IEEE 8th Joint International Information Technology and Artificial Intelligence Conference (ITAIC). USA: IEEE, 2019: 340-344.
    [21] ZHAO Z, LIANG B, WANG X, et al. Remaining useful life prediction of aircraft engine based on degradation pattern learning[J]. Reliability Engineering System Safety, 2017, 164: 74-83. doi: 10.1016/j.ress.2017.02.007
    [22] 伊廷会. 酚醛树脂高性能化改性研究进展[J]. 热固性树脂, 2001, 16(4): 29-33. doi: 10.3969/j.issn.1002-7432.2001.04.011
    [23] 牛国良. 烧蚀材料用改性酚醛树脂[J]. 固体火箭技术, 1998, 21(4): 64-67.
    [24] 黄俊梅, 汤伟, 许保华. 基于BP神经网络的蒸煮卡伯值预测模型[J]. 化工自动化及仪表, 2010, 37(11): 34-37. doi: 10.3969/j.issn.1000-3932.2010.11.009
  • [1] 吕铮杨健侍洪波谭帅 . 基于T-TSNPR的动态过程质量监控. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20181114003
    [2] 陆炳祥张德祥 . 低次烟叶热解特性及动力学机理函数. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20180716007
    [3] 陈剑挺叶贞成程辉 . 基于p阶Welsch损失的鲁棒极限学习机. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20181209001
    [4] 薛敏杨健谭帅侍洪波 . 基于多数据结构的集成质量监控方法. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20180821002
    [5] 潘傲谢明辉夏建业庄英萍 . 基于均龄理论模拟搅拌式反应器的混合时间. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20180716001
    [6] 李岁王元华 . 油田水套加热炉高温空气燃烧瞬态模拟及最小换向时间. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20180723008
    [7] 马芳芳熊达孙铁栋欧阳福生 . 乙烯装置裂解气压缩机性能预测模型研究. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20191226002
    [8] 王宁曹萃文 . 基于XGBoost模型的炼油厂氢气网络动态多输出预测模型. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20181104001
    [9] 赵刚王梦灵薛斌强严怀成 . 基于自适应事件触发的交通网络预测控制. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20191230002
    [10] 宋劲坤陈建钧葛家豪 . 基于分形理论的冲裁断面质量评价研究. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20190602001
    [11] 许叶龙刘迎圆惠虎於晔鸿 . 固液混合过程的数值模拟及实验研究. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20180709001
    [12] 张逸秋吴诗勇吴幼青黄胜高晋生 . 城市污泥水热液化过程及产物特征. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20190107001
    [13] 张剑超杜文莉覃水 . 基于新型自适应采样算法的催化重整过程代理模型. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20180915001
    [14] 沈冰洁黄婕曹银平张福行 . 低温氧化过程中煤的宏观特性与微观结构变化. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20191028001
    [15] 肖卫强周国俊蒋健胡安福詹望成郭杨龙 . 加热卷烟制品传热与烟气流动过程数值模拟. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20191029004
    [16] 赵凌刘程琳宋兴福于建国 . 低品位锂辉石矿碱浸脱硅过程研究. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20190313002
    [17] 王德勋虞慧群范贵生 . 基于深度学习的面部动作单元识别算法. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20190107003
    [18] 徐一丹李建奎李姗 . 定向图的张量代数中的单元. 华东理工大学学报(自然科学版), doi: 10.14133/j.cnki.1008-9357
    [19] 李冰丛自豪肖希勉武月铭刘润辉 . 氨基酸聚合物用于提高冻干过程中蛋白稳定性的研究. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20190422001
    [20] 张星崔向伟李宗霖李志敏 . 基于能量循环再生系统酶法生产谷胱甘肽. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20190806001
  • 加载中
图(10)表(1)
计量
  • 文章访问数:  87
  • HTML全文浏览量:  33
  • PDF下载量:  1
  • 被引次数: 0
出版历程
  • 收稿日期:  2019-09-26
  • 网络出版日期:  2020-06-23

基于双向门控循环单元神经网络的间歇过程最终产品质量预测

    作者简介:骆 楠(1994-),女,湖北人,硕士生,主要研究方向为化工过程建模。E-mail:y30170656@mail.ecust.edu.cn
    通讯作者: 罗娜, naluo@ecust.edu.cn
  • 华东理工大学化工过程先进控制和优化技术教育部重点实验室,上海 200237

摘要: 从具有共性的间歇过程终点质量预测问题出发,针对生产过程的时间序列特性进行分析,提出了一种基于双向门控循环单元网络的预测模型,对不等长间歇过程进行最终产品质量预测。结合实际生产中对预测值的要求,构建了适应间歇过程的损失函数,使模型在保证预测精度的前提下满足预测要求,从而获得更大的生产效益。将使用不同损失函数的双向门控循环单元网络与多向偏最小二乘(MPLS)、神经网络(NN)、支持向量回归(SVR)以及门控循环单元网络(GRU)的预测结果进行实验对比,结果表明双向门控循环单元网络具有更强的适用性和更高的准确性。

English Abstract

  • 间歇过程作为一种重要的生产方式,多用于生产低产量、高附加值的产品。然而,由于原材料成分的不确定性、产品品种的频繁改变及复杂的工艺过程,间歇过程的产品质量波动较大[1-2]。而大多数间歇生产过程由于产品质量指标的检测缺乏在线传感器或难以在线测量,只能通过实验室化验分析得到分析值,难以满足质量指标的实时在线控制的需要。另一方面,间歇过程的机理模型很难得到,因而基于数据的模型就成为了研究热点[3-4]

    与连续过程相比,间歇过程数据除变量和时间两个维度以外,还包括批次的维度。针对这种特殊性,Nomikos等[5]提出了多向偏最小二乘法(MPLS),将作为自变量的三维数据按批次展开为二维数据,建立偏最小二乘模型,从而实现了产品质量预测。支持向量机方法较好地解决了小样本、非线性、高维数、局部极小等实际问题,具有很强的泛化能力,因而被用于复杂非线性间歇过程,特别是生化过程的质量预测问题[6-7],并在青霉素发酵过程中验证了该算法的有效性。然而,对于间歇过程产生的数据,简单的非线性特征可以使用传统的算法进行提取,但其批次间隐含的时序特征[8]仍难以提取。

    循环神经网络(Recurrent Neural Network,RNN)为提取时间序列特征提供了更好的解决方案,通过将时序的概念引入到网络结构设计中,在时序数据分析中表现出更强的适应性。随着处理时间序列长度的增加,使用常规激活函数使得网络训练期间容易产生如梯度消失等问题,从而导致RNN网络预测精度不足。而其变体,如长短期记忆(Long Short-Term Memory,LSTM)、门控循环单元以及模型的双向操作等,通过添加一些阈值门弥补了RNN的缺陷,这些方法已被广泛应用于多个序列学习问题中。在工业上,Wang等[9]提出了深度异构GRU模型的框架,用于刀具磨损预测;Yu等[10]利用基于双向循环神经网络的自动编码器方法对涡轮风扇发动机进行了寿命预测;Wang等[11]采用LSTM对间歇过程中每个阶段的长时间序列进行特征提取,从而得到与质量相关的综合隐藏特征,来自于不同阶段的隐藏特征通过堆叠自动编码器进一步集成和压缩,进而实现了间歇过程的质量预测,但该建模方法只考虑批次内数据,并且没有考虑原料的不确定性对不同批次产品质量的影响,因而对于某些复杂的间歇过程难以实现准确的质量预测。

    在实际生产中,一方面原料存在一定的不确定性,如作为混合物的原料难以保证所有批次都完全一样;另一方面为防止产品出现不可挽回的质量损失,通常要求模型的预测值尽可能低于或者高于目标值,从而降低由于模型预测误差所带来的生产损失。针对以上问题,本文对双向门控循环单元的损失函数进行了改进,并将其用于间歇过程质量指标的预测。双向循环神经网络可以整合前后批次数据时序信息,充分挖掘原料不确定性带来的批次间时序特征。改进的损失函数通过对不同的预测值施加不同的惩罚,使得预测值满足实际生产中的要求,提高算法的实用性。

    • 间歇过程为多次重复生产[12],与单纯的时序数据相比,其数据中还包含间歇过程的批次,因而一般以三维数据X(I×J×K)表示,矩阵Y(I×1)表示最终产品质量变量,其中I表示间歇过程的批次,J表示过程变量的维数,K表示每一次间歇过程的采样数,如图1所示。

      图  1  间歇过程中的数据

      Figure 1.  Data in batch processes

      在实际生产过程中,常常存在外购原料产品质量不确定或自产原料生产过程不稳定而导致原料供应波动频繁,造成模型输入变量的不确定,对采用传统算法进行系统建模与分析造成严重困扰[13]。然而这种不确定性最终在各批次生产过程变量中得以表现,即各种不确定性的隐藏信息能够通过图1所示的三维数据间接得到。本文采用双向门控循环单元神经网络对序列数据进行特征提取,以期得到足以反映不确定性的隐藏特征,改善模型的预测精度。

    • 循环神经网络的优势在于处理时序数据,具体表现为网络中当前时刻的输出依赖于网络对之前信息的记忆,即隐藏层的输入不再是单纯的当前时刻输入层的输出,还包括前一时刻的隐藏层的输出。常见的循环神经网络的结构主要有3种,包括两种多对多结构以及一种多对一结构,如图2所示。

      图  2  RNN结构

      Figure 2.  RNN structure

      图2中多对多的结构有两种,第1种要求输入序列与输出序列等长,因此此种结构应用范围较窄;第2种结构中输入、输出为不等长的序列,是一种Encoder-Decoder结构,常用于机器翻译、语音识别等领域[14-15]。而多对一的结构则常用于处理序列分类或者回归问题,最终只需给定一个输出结果,因而本文选取多对一的循环神经网络结构,具体的网络预测结构如图3所示。

      图  3  RNN网络预测结构图

      Figure 3.  RNN network prediction structure diagram

      对于给定序列x =(x1, x2, …, xn),RNN通过对输入空间和内部状态空间分别进行操作,计算出隐含层序列h =(h0, h1, h2, …, hn),并由RNN的终端输出计算得到最终的预测值,如式(1)、式(2)所示:

      其中:xtht分别为t时刻的网络输入、网络输出;Whh为隐含层到隐含层的权重;Wxh为输入层到隐含层的权重;bh为隐藏层的偏置向量;fa为激活函数;g为预测问题的仿射函数。

      RNN的单层网络结构以及基于BPTT(Backpropagation Through Time)的网络参数求解算法决定了RNN在训练过程中会存在梯度消失或者梯度爆炸的情况,网络参数学习困难,很难学到长期的依赖[16]

    • 由Hochreiter 等[17]提出的LSTM神经网络是在RNN的基础上发展而来。LSTM相对于RNN的网络结构更为复杂,在RNN的基础上增加了3个门结构,即3种不同的网络结构。每种网络结构的神经元数目是一致的,通过控制门的开关进而控制信息流的传递,在一定程度上缓解了RNN存在的梯度消失或者梯度爆炸问题。LSTM的结构单元如图4所示。其中sigmoid、tanh分别为神经网络的激活函数,具体公式如式(9)、式(10)所示。

      图  4  LSTM单元结构图

      Figure 4.  Structure of LSTM

      门控循环单元由Cho等[15]于2014年提出,并将其用于机器翻译领域。GRU与LSTM相仿,都是通过引入特殊的“门结构”来减少梯度弥散,使得误差得以长距离地传播,从而有了长期记忆的能力。不同的是,GRU将LSTM的“门结构”减少为更新门和重置门,模型更加简单,网络参数更少,收敛更快。GRU的具体结构如图5所示。其中GRU中的更新门替换了LSTM中的遗忘门和输出门,用于控制当前信息中哪些信息需要流入候选状态。“更新门”的具体公式如式(11)所示:

      门控循环单元

      而GRU的候选状态如式(12)所示:

      其中:WzWh为网络的权重参数;bzbh为网络的偏置。

      “重置门”决定了前一时刻隐藏层单元输出ht-1对候选状态的影响。具体公式如式(13)所示:

      其中:Wr为重置门的权重参数;br为重置门的偏置。

      最后GRU的输出单元由上一时刻隐藏层输出、更新门状态以及当前候选状态共同决定,如式(14)所示:

      图  5  门控循环单元结构图

      Figure 5.  Structure of GRU

    • Schuster等[18]于1997年提出了双向循环神经网络(BiRNN)。相较于普通的单向RNN信息只能在正时间方向上进行传播,双向RNN拥有两组隐藏层信息,一个是用于正时间方向上的输入序列,另一个是在负时间方向上的输入序列。因此双向RNN可以更好地捕获时间序列中的信息,在语音识别、机器翻译、情感分类等方面得到广泛应用[19-20]。具体结构如图6所示。

      图  6  BiRNN结构图

      Figure 6.  Structure of BiRNN

      BiRNN的输出由正向层的隐藏层输出与反向层的隐藏层输出构成,如式(15)所示:

      其中:$ \oplus $为连接运算符;${h_t}$表示t时刻BiRNN的输出状态。

      传统的算法被广泛应用于批次内模型的建立,同时传统的批次间的模型无法充分挖掘到批次间的时序特征信息,而RNN在时序数据建模中表现优秀。考虑到RNN存在长期依赖的问题,而LSTM和GRU可以弥补此问题,同时GRU相较于LSTM网络参数少,便于模型的训练,因此本文采用BiGRU作为预测模型的主要部分,从而提取到丰富的特征信息,提高模型的精度。

    • 神经网络中的损失函数,又叫误差函数,用于刻画神经网络中输出值与真实值之间的误差程度,损失函数越小,模型的鲁棒性越好。神经网络的训练是经过前向传播计算损失函数值,并通过反向传播不断更新网络的权重和偏置,从而使损失函数不断减小至最低值。均方误差(Mean Square Error,MSE)是神经网络中最常见的损失函数之一,用于表征预测值与目标值之间误差平方的均值,如式(16)所示:

      其中:${\overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\frown}$}}{y} }$表示预测值;yi表示真实值;N为样本数。

      由于MSE对预测值与目标值的差进行平方操作,仅仅考虑了预测值偏离真实值的程度,当预测值偏高于或者偏低于目标值同一程度时,MSE给予相同惩罚。

      虽然可以使用损失函数评估模型性能,并能提供优化的方向,但没有哪一种损失函数能满足所有预测需求。损失函数的选取依赖于选取的算法、参数数量、异常值、导数求取的难易和预测的置信度等若干方面,因此需要根据要处理的实际问题来确定相应的损失函数[21]

      在实际模型预测中,往往期望在满足预测精度的前提下,预测值尽可能低于或者高于目标值。例如Zhao等[21]考虑到发动机的维护与更换的实际情况,在利用神经网络对发动机的寿命进行预测时指出,模型预测的原则是在预测值应该处于发动机即将报废时,即在保证模型预测精度同时,预测值应该尽可能低于真实值。而在某些间歇过程中,为了保证效益的最大化,对于最终产品质量的预测有时也会要求预测值高于或者低于真实值,不同的产品要求不同,需要就具体问题而言。本文针对间歇过程最终质量预测的特点,提出了不对称损失函数(Asymmetric Loss Function,ALF),如式(17)、式 (18)所示。

      式中:ypredict,i为第i个样本的预测值;yactual,i为第i个样本的真实值;di为第i个样本的预测值与真实的差;ab均为自定义系数。当a>b时,期望预测值大于真实值;当a<b时,期望预测值小于真实值。

      为了更好地说明该损失函数的优点,选取a>b的情况,将其与MSE进行对比。针对单一样本,两个损失函数的对比结果如图7所示,图中error为预测值与真实值的差。

      图  7  损失函数对比图

      Figure 7.  Comparison of loss functions

      图7可看出,当预测值大于真实值时,ALF相对于MSE变化更为平缓,给予的惩罚较小;当预测值小于真实值时,ALF相较于MSE增长趋势明显加快,给予的惩罚较大。以ALF作为神经网络的损失函数对网络进行训练,可以有效地调整惩罚值的大小,可以使预测值尽可能偏高于真实值,满足期望的预测原则。

    • 树脂生产是一个多阶段间歇过程,其生产过程主要包括缩聚和干燥脱水两个阶段,每个阶段都有特定的控制目标、不同的主导变量以及过程特性[22]。在缩聚阶段,首先将酚类、醛、催化剂依次加入反应釜中进行缩聚反应,一段时间后切换至干燥脱水阶段;在干燥脱水阶段,反应釜建真空,在一定的真空度下树脂脱水,维持一定时间后,破真空取料,生产过程结束[23]。其中作为反应物的酚类本身为一种混合物,存放于中间罐中,随着时间的推移,里面的成分也随之缓慢发生变化,具体成分可通过色谱分析其组成,但一般情况下不分析,即使分析,也难以分析出所有物质。因而,原料成分的不确定性为准确预测过程最终产品的质量带来很大难度,同时这种不确定性伴随着时间的变化,即过程批次本身存在一定的时序性。本文以某类树脂的生产过程为对象,对树脂的软化点进行预测。

    • 采集400批生产过程中的过程变量数据,包括酚类和醛的流量以及反应釜的压力、温度和质量,实验室离线测得的树脂软化点作为预测变量。由于树脂的操作流程通常是固定的,根据生产过程中的操作条件获取不同操作阶段反应釜温度、质量和压力的起始值和终止值,将原有的不等长过程数据提取为各批次等长的过程数据,并根据原料的流量得到各批次反应物的质量。根据最大信息系数对过程数据和反应物质量进行特征选择,选择出与树脂软化点相关性最强的4个变量,分别为醛的加入量、反应起始的温度值、反应终止的温度值以及真空度。得到模型的输入变量X400×4,为避免各变量的量纲对模型预测结果的影响,利用最大最小值法对样本进行归一化处理。

    • 选取评价指标均方根误差(RMSE)、R2来评估模型拟合结果的好坏。其中RMSE体现模型预测值偏离真实值的平均程度,R2用来评估模型的可靠性。此外,为了更直观地表示改进损失函数后的LSTM-ALF的优越性,采用评价指标可达率(Reachable Ratio,RR)用于表征预测值高出真实值的个数。3个指标的定义如式(19)~ 式(21)所示。

      其中:$ {\bar y} $表示N个真实值的均值;$ I({y}_{i}<{\widehat{y}}_{i}) $表示真实值小于预测值。

    • 利用树脂生产过程数据,通过程序自循环寻优的方法进行模型参数设定,主要调节的参数包括时间窗口大小、网络结构和训练次数等。通过限定变量法,每次改变一个参数并监测RMSE值,通过比较分析确定最优参数,为减小模型训练中随机性的影响,重复操作10次取平均值。

      由于BiGRU网络需要输入时间序列数据,对400个批次数据以滑动窗口为5进行连续采样,将各滑动窗口的最后一个批次数据对应的质量指标作为模型预测值,得到396个样本。为更好地挖掘数据中存在的不确定性,其中前350个样本为训练数据集,后46个样本为测试数据集。最终本文预测模型结构如图8所示,设置BiGRU网络的隐藏层神经元个数为80,采用Adam优化器对网络参数进行训练,epoch为100,batch_size为20。

      图  8  模型结构

      Figure 8.  Model structure

      为了证明所提出的损失函数的优越性,选取MSE和ALF分别作为神经网络的损失函数,对模型进行训练。在树脂生产过程中,当树脂的软化点低于期望值时,可以通过补加醛提升树脂的软化点,而树脂的软化点高于期望值时,会导致该批次产品价值降低。为了保证生产效益,树脂软化点预测原则与发动机寿命预测原则恰恰相反,软化点模型预测的结果应该高于真实软化点值。针对树脂软化点预测模型,ALF中参数ab分别设为1.7、0.8。

    • 为了说明本文模型在树脂质量预测中的有效性,将MPLS[5]、SVR[6]、NN[24]、损失函数为MSE的GRU模型[9](GRU-MSE)、损失函数为MSE的BiGRU模型(BiGRU-MSE)[18]与损失函数为ALF的BiGRU模型(BiGRU-ALF)进行性能比较。在SVR中,利用网络搜索进行寻优,最终核函数选择高斯核函数,C为3.1,σ为0.1;在NN中,全连接神经网络层数设置为3,隐藏层使用sigmoid激活函数,各层的神经元个数为{80,40,1};GRU-MSE则由GRU以及全连接层构成,神经元个数分别为70和1,全连接层使用sigmoid激活函数;BiGRU-MSE由BiGRU以及全连接层构成,神经元个数为65和1,全连接层使用sigmoid激活函数。图9为6个模型针对43个生产批次数据的预测结果对比图。

      图9可以看出,MPLS的预测效果最差,而SVR与NN的预测结果相似,在部分批次预测结果偏差较大,都略差于GRU模型。GRU的预测效果对比于传统的算法有了极大的提升,说明在对存在原料不确定性的间歇过程进行特征提取时,GRU凭借着更强的记忆能力,挖掘到时序方面的特征,同时也说明间歇过程最终产品质量指标与原材料成分的变化有着密切关联。GRU的拟合程度总体上较优,但是个别批次表现不够理想。而BiGRU综合考虑了正向时序特征与反向时序特征,得到更为深层次的全局特征,预测结果较优于GRU。图10为各GRU预测结果的绝对误差对比分析图。

      图  9  6种算法的软化点预测结果

      Figure 9.  Softening point prediction results of six methods

      图  10  3种算法预测结果的绝对误差对比图

      Figure 10.  Absolute error comparison of three algorithms

      图10可看出,相较于BiGRU-MSE,GRU-ALF的绝对误差(真实值减去预测值)大部分在0刻度线以上,即GRU-ALF预测结果普遍有所提升,表明改进后的BiGRU-ALF在满足预测精度、确保效益最大化方面的效果符合实际需要,进一步说明了改进后的算法具有更好的工业实用性。因为NN与GRU这类机器学习算法在预测结果上存在小范围的波动性,将20次训练结果的平均值进行算法性能比较,用于更清晰地说明该网络结构的有效性。

      表1列出了针对测试样本计算出的评价指标结果,从表中可看出BiGRU-MSE模型的预测精度相较于其他模型有了明显的提高,说明BiGRU可以获得原料不确定性带给批次生产过程的更为准确的时序规律。虽然BiGRU-ALF的预测精度低于BiGRU-MSE,但是其可达率较高,同时BiGRU-ALF的预测精度也略高于GRU-MSE的预测结果,即BiGRU-ALF模型能够在保证模型精度的情况下,更好的满足工业生产中关于最大化经济效益的要求,也表明改进后的双向门控循环神经单元网络更适合用于树脂软化点的预测。

      ModelRMSERRR2
      MPLS2.4310.4420.442
      NN1.7590.4650.891
      SVM1.7120.4880.896
      GRU-MSE0.9650.2550.966
      BiGRU-MSE0.6990.3480.982
      BiGRU-ALF0.7980.6510.977

      表 1  算法性能对比

      Table 1.  Performance comparison of different methods

    • 针对传统算法难以解决原料不确定下间歇过程的建模问题,本文提出了基于BiGRU模型的间歇过程产品质量预测方法,并在某类树脂的软化点质量预测中进行了方法验证。与MPLS、NN、SVR以及GRU算法相比,所提出的基于BiGRU模型的间歇过程产品质量预测方法获得了比传统算法更好的预测结果,验证了双向门控循环单元网络对工业间歇过程数据有着更好的预测能力。为了提高系统的容差率和预测结果的实用性,本文采用BiGRU-ALF模型,通过对预测结果的不同偏差,不同的惩罚值,使得预测结果拥有更大的安全裕度,为间歇过程的建模研究提供了新的思路,也对深度学习在间歇过程中的现场应用提供了一定的指导。

(10)  表(1) 参考文献 (24) 相关文章 (20)

目录

    /

    返回文章