维普资讯 http://www.cqvip.com 第１５卷第３期 ２００２年６月 武汉科技学院学报 ＪＯＵＲＮＡＬ ＯＦ ＷＵＨＡＮ ＩＮＳＴＩＴＵＴＥ ＯＦ ＳＣＩＥＮＣＥ ＡＮＤ ＴＥＣＨＮＯＬＯＧＹ Ｖｏ１ １５ ＮＯ．３ Ｊｕｎ．２００２ ＭａｔＬａｂ实现神经网络的非线性对象动态建模 夏定纯 ，秦肖臻 （１武汉科技学院计算机科学系，湖北武汉４３００７３；２华中科技大学控制工程系，湖北武汉４３００７４） 摘要：简要叙述神经网络用于动态建模原理，介绍在ＭＡＴＬＡＢ仿真环境中的实现方法，结合一个典型工业 例子对几种训练算法作出性能比较与分析，给出相应的仿真结果。 关键词：神经网络；建模；系统仿真 中图分类号：ＴＰ１ ８ 文献标识码：Ａ 文章编号：１００９—５１ ６０（２００２）０３—００６５－－０４ 系统动态建模与控制一直是人们不断探索的一个重要领域，由于工业系统中过程的复杂性，对象的精 确数学模型的获取往往是比较困难的，常用的传统方法是将过程对象进行适当的简化，经过局部线性化处 理后得到对象的近似线性化模型。然后，再运用成熟的线性系统理论和技术方法实现对象系统的控制，以 期达到总体性能指标的要求。显然，这种近似化处理方法对于非线性、多变量与时变等特性的过程对象是 不能满足要求的。近些年来，基于智能计算的建模与控制技术得到迅速发展，为该类困难问题的解决提供 了一种有效的途径。本文简述在ＭＡＴＬＡＢ环境下建立对象动态模型的基本过程，通过一个仿真对象，讨 论采用随机权（ＲＡＷ）学习方法的非线性对象动态建模的能力，并与其它几种常用学习算法进行性能比较。 １ 基于ＮＮ的动态建模 神经网络（ＮＮ）是智能技术中发展的极为迅速的技术领域之一，并获有许多成功的应用。其主要原因在 于ＮＮ能处理复杂的非线性特性关系，使用较少的先验知识，无需过多的了解对象的内部机理，并行处理 方式和学习能力的特性等，这些特点使得ＮＮ引起人们高度关注，得以迅速应用到各个领域（Ｂｈａｔ，１９９０； Ｗｉｌｌｉｓ，１９９１）。自从第一个神经元感知模型提出以来，至少有数十多种不同的ＮＮ结构被研究和应用 （Ｈｅｃｈｔ—Ｎｉｅｌｓｏｎ，１９８８），一大批学习算法也相继产生。其中应用最广泛、影响最大的当属多层前向神经网络 和ＢＰ算法了。多层前向网络不仅能够逼近任何一个非线性静态影射关系（Ｃｙｂｅｎｋｏ，１９８９），同时也可以用于 动态系统的特性学习，从而在非线性对象的建模与控制中具有很大的应用潜力（Ｎａｒｅｎｄｒａ，１９９０）。 动态系统的输入输出描述可以表示为如下的形式： 其中，ｙ（ｔ）是输出信号，ｕ（ｔ）输入信号，ｆ（．）３０非线性对象的特性关系。由 于非线性逼近能力，可以采用ＮＮ来逼近函数ｆ，从而完成动态对象的建 模，如图ｌ所示。 ｙ（ｔ＋１）＝ｆ（ｙ（ｃ），…ｙ（ｔ－ａ）’ｕ（ｃ），…ｕ（ｃ－ｂ）） ｙｆｔ－ｕ＿］ Ｉ ，． ｆｆ＿ 、—＿．Ｊ Ｉ ｕｆ１）——＇．』 ｌ Ｉ ＮＮ的建模任务具体来说主要考虑结构选择、输入输出信号及其样 本集选择等几个方面。网络结构的选择往往与具体的应用对象有关，目 前尚未有完备的成熟理论技术，虽然有一些方法提出来，但是实际应用 中采用较多的是通过样本集学习的性能比较来确定ＮＮ结构 ｌ Ｉ ｕ（ｔ＿ｈ）——叫 Ｉ 图 动态系统的输入输出关系 （ＳｊＯｂｅｒｇ，１９９５）。输入输出样本集的选择应尽量覆盖对象全部的工作范围，这样学习的动态特性才能满足要 求。此外，好的学习算法对ＮＮ的学习效率会产生影响，使用最为广泛的是ＢＰ学习算法，它主要是根据 模型的输出与样本集输出所产生的偏差来训练网络的连接权阵，搜索是沿着最大梯度下降的方向进行。为 了克服ＢＰ学习中陷入局部极小情况，其他一些新的算法陆续被提出，如增加动量项、共轭梯度法、伪牛 顿法、ＬＭ方法等等。虽然它们在不同程度改进原学习算法的效果，但是，由于每次的学习均需要求解一 收稿¨期：２００２—０３—１ ３ 作者简介：夏定纯（１９６３一），男，副教授，研究方向：智能系统 维普资讯 http://www.cqvip.com ６６ 武汉科技学院学报 ２００２年 系列的递推方程，运算量较大，在实际过程的应用受到了影响，使用一个算法简洁和运算量的建模方法在 工业应用中是具有重要的实用意义的。 随机权阵（ＲＡＷ）是一种基于随机搜索策略的学习方法（Ｂａｈｔ，１９９０；Ｗｉｌｌｉｓ，１９９１），它类似模拟退火法 ‘Ｓｉｍｕｌａｔｅｄ．Ａｎｎｅａｌｉｎｇ’，但学习的策略更为灵活与简练。该算法的基本思想是按照Ｇａｕｓｓｉａｎ分布改变ＮＮ连 接权阵，反复计算学习目标，直到到达可以接受的误差精度为止。由于采用随机搜索，使得网络的学习克 服了ＢＰ算法存在的问题，降低陷入局部极小的可能，而且无需计算ＮＮ中转移函数的偏导方程，从而使 得该算法快速简单，特别适合在线估计与控制，具有很强的工业应用价值。下面通过对一个具体的仿真对 象，利用ＭＡＴＬＡＢ仿真语言环境对其进行动态建模，对几种常用的学习方法：ＢＰＭ、ＬＭ以及ＲＡＷ进行 学习性能的分析和比较。 ２ ＭＡＴＬＡＢ建模设计 ＭＡＴＬＡＢ（Ｍａｔｒｉｘ Ｌａｂｏｒａｔｏｒｙ）是Ｍａｔｈｗｏｒｋ公司基于向量矩阵运算的程序设计语言，它面向工业应用和 科学研究，配备有一个功能强大的数学函数支持库，提供丰富的矩阵、运算、图形、数据处理等函数，其 优秀的数值计算能力在学术界与工程界均享有极高的声誉。与此同时，在此环境下各种实用工具箱的不断 推出，使得该软件的功能日益加强，开发与应用更加方便，越来越广泛地应用到自动控制、图形图象、信 号分析、语音处理、化学生物等领域。ＭＡＴＬＡＢ提供的神经网络工具箱以直观、简洁、开放性原代码等特 性为用户提供了丰富而友好的开发环境。丰富的ＮＮ结构描述函数以及训练功能函数，使用户可以按照实 际应用要求灵活地定义网络结构（如：ＢＰ、ＥＬＭＡＮ、ＲＢＦ等）以及多种学习算法（如：梯度法、共轭梯度法、 伪牛顿法、ＬＭ法等）。 ＭＡＴＬＡＢ中用于神经网络定义的基本函数主要为： ｎｅｔ＝ｎｅｗｆｆ（ＰＲ，【Ｓｉ】｛ＴＦｉ｝，ＢＴＦ） 、 其中：ＰＲ表示网络输入信号的范围，ｓｉ定义了网络的大小，如隐层以及每层神经元数等，ＴＦｉ设定网络中 各层的转移函数形式，ＢＴＦ说明了网络的训练函数。通过选用网络预定的初始化函数，可以设定网络的训 练初始权阵： ｎｅｔ．１ａｙｅｒｓ｛ｉ｝．ｉｎｉｔＦｃｎ＝‘ｉｎｉｔｗｂ’； ｎｅｔ．ｉｎｐｕｔＷｅｉｇｈｔｓ｛ｉ，ｊ｝．ｉｎｉｔＦｃｎ＝‘ｒａｎｄｓ’； ｎｅｔ．ｂｉａｓ｛ｉ，ｊ｝．ｉｎｉｔＦｃｎ＝‘ｒａｎｄｓ’； ｎｅｔ＝ｉｎｉｔ（ｎｅｔ）； 网络缺省学习是Ｌｅｖｅｎｇｅｒｇ－Ｍａｒｑｕａｒｅｌｔ算法（ｔｒａｉｎｌｍ函数）。这里我们比较三种学习算法，它们分别为： 动量项ＢＰ算法、ＬＭ算法以及ＲＡＷ算法，设置网络的训练函数，可以选用不同的训练算法。网络学习过 程有两种方式：单个动态更新和批量综合训练，这里采用后者进行网络的离线动态样本学习，在实时预估 中则可以采用前者的单样本学习方式。 ％’Ｓｅｌｅｃｔ ＢＰ ｗｉｔｈ ｍｏｍｏｎｔｕｍ：Ｉｒ．ｍｃ ｐＨｎｅｔ．ｔｒａｉｎｆｃｎ＝’ｔｒａｉｎｇｄｍ’： ｐＨｎｅｔ．ｔｒａｉｎＰａｒａｍ．Ｉｒ＝０．０５； ｐＨｎｅｔ．ｔｒａｉｎＰａｒａｍ．ｎｌｃ＝０．８： ％Ｓｅｌｅｃｔ ＬＭ ｐＨｎｅｔ．ｔｒａｉｎｆｃｎ＝‘ｔｒａｉｎｌｍ’： ％Ｔｒａｉｎｉｎｇ ｐａｒａｍｅｔｅｒｓ ｐＨｎｅｔ．ｔｒａｉｎＰａｒａｍ．ｓｈｏｗ＝１０； ％Ｆｒｅｑｕｅｎｃｙ ｏｆ ｐｒｏｇｒｅｓｓ ｄｉｓｐｌａｙｓ（ｉｎ ｅｐｏｃｈｓ） ｐＨｎｅｔ．ｔｒａｉｎＰａｒａｍ．ｅｐｏｃｈｓ＝１０００； ％Ｍａｘｉｍｕｍ ｎｕｍｂｅｒ ｏｆ ｅｐｏｃｈｓ ｔｏ ｔｒａｉｎ． 图２中性反应过程特性曲线 ｐＨｎｅｔ．ｔｒａｉｎＰａｒａｍ．ｇｏａｌ＝（Ｏ．０００ｌ４）； ％Ｍｅａｎ—ｓｑｕａｒｅｄ ｅｒｒｏｒ ｇｏａ１． 维普资讯 http://www.cqvip.com 第３期 夏定纯，等：ＭａｔＬａｂ实现神经网络的非线性对象动态建模 ６７ ３仿真对象与算法性能 以工业中常见的化学中性反应过程为仿真对象，通过ＳＩＭＵＬＩＮＫ工具建立其仿真模型，输入输出非线 性关系如图２所示，可见该过程是一个典型的非线性过程。在过程处于稳态状态下，将输入流量信号迭加 均匀随机激励信号，测量过程输出信号（ｐＨ值），形成网络的训练样本集。该训练样本应覆盖整个工作范围， 如图３所示。 图３ 中性反应过程的动态特性样本 ＮＮ结构的选择，如输入信号以及隐层节点个数等， 会影响到网络的学习性能。ＮＮ中的节点数量增加，虽然 可以改善建模的精度，但却可能导致学习的过拟合现象。 反之，减少节点数则会降低非线性逼近能力，从而不能很 好地学习到对象的动态特性，适当的ＮＮ结构选择将是建 模过程的重要一环。通过实验分析，ＮＮ的结构选择如下： 输入信号为ｐＨ和 的当前以及前两个采样时刻的值，网 络隐层中节点数为ｌ５，输出为下一时刻的ｐＨ值，采用滑 动窗技术对过程进行建模。 在对网络初始化后，对同样一组样本集采用不同的学 习方法进行训练，训练结果如图４所示。从图中可见，ＬＭ、 动量项ＢＰ以及ＲＡＷ学习过程都能够较好地达到学习的要 求，其中ＬＭ学习速度最快，具有很好的性能，动量项ＢＰ 图４学习算法的收敛性 ５ １Ｏ １５ ２０ ２５ ｅｐｏｃｈ ３１３ ３５ 如４５ ５０ 学习算法也能够加快样本集的学习收敛速度。但是，这两种学习算法均需要作较多的函数偏导搜索运算。 相反，ＲＡＷ算法则计算量十分少，而且同样具备有较好的学习性能以及相应的一步预估预能力如图５所示。 图５样本输出与网络预估结果 维普资讯 http://www.cqvip.com 武汉科技学院学报 ２００２乍 ４结束语 本文在ＭＡＴＬＡＢ环境下分析了ＮＮ用于对象的动态建模能力，通过对一个非线性过程的仿真，比较了 几种典型的学习算法。特别是对于随机搜索方法的学习算法ＲＡＷ，在本文中主要测试了其非线性特性对 象的学习以及预测能力，仿真结果表明了该算法的有效性。由于ＲＡＷ具有算法简单、运算量少、速度快 等特点，因而特别适合于工业系统的实时建模与控制。 参考文献： Ｂｈａｔ、Ｎ．．Ｍｉｎｄｅｍａｎ，ＰＡ．．ＭｃＡｖｏｙ，Ｔ Ｊ，ｅｔ ａ１．．Ｍｏｄｅｌｉｎｇ ｃｈｅｍｉｃａｌ ｐｒｏｃｅｓｓ ｓｙｓｔｅｍ ｖｉａ ｎｅｕｒａｌ ｃｏｍｐｕｔａｔｉｏｎ［Ｊ］．ＩＥＥＥ Ｃｏｎｔｒｏｌ Ｓｙｓｔｅｍｓ Ｍａｇａｚｉｎｅ．１９９０．１０：２４～２９ ｉ２１ Ｃｙｂｅｎｋｏ．Ｇ．Ａｐｐｒｏｘｉｍａｔｉｏｎ ｂｙ ｓｕｐｅｒｐｏｓｉｔｉｏｎｓ ｏｌ’ａ ｓｉｇｍｏｉｄａｌ ｆｕｎｃｔｉｏｎ［Ｊ］．Ｍａｈｔｅｍａｔｉｃ ｏｆＣｏｎｔｒｏｌ，Ｓｉｇｎａｌｓ、ａｎｄ Ｓｙｓｔｅｍ．１９８９．２： ３０３～３ｌ４． 【３】 Ｈｅｃｈｔ－Ｎｉｅｌｓｅｎ，Ｒ．．Ｈｅｕｒｏｃｏｍｐｕｔｅｒ ａｐｐｌｉｃａｔｉｏｎ［Ａ］Ｎｅｒｏ‘ａｌ Ｃｏｍｐｕｔｉｎｇｓ（Ｅｃｋｍｉｌｅｒ ｅｔ ａ１．Ｅｄｓ）【Ｃ Ｊ．Ｓｐｒｉｎｇｅｒ－Ｖｅｒｌａｇ．Ｎｅｗ Ｙｏｒｋ． １９８８． 【４ Ｊ Ｎａｒｅｎ＆’ａ、Ｋ．Ｓ，Ｋ Ｐａｒｔｈａｓａｒａｔｈｙ．Ｉｄｅｎｔｉｉｃａｔｉｆｏｎ ａｎｄ ｃｏｎｔｒｏｌ ｏｆ ｄｙｎａｍｉｃａｌ ｓｙｓｔｅｍｓ ｕｓｉｎｇ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓ Ｎｅｕｔａｌ Ｎｅｔｗｏｒｋｓ．１９９０．１：４～２７． 【５】 Ｓｊ０ｂｍ‘ｇ，Ｊ．ａｎｄ Ｌｊｕｎｇ，Ｌ．． Ｏｖｅｒｔｒａｉｎｉｎｇ，ｒｅｇｕｌａｒｉｚａｔｉｏｎ ａｎｄ ｓｅｒｃｈｉｎｇ ｆｏｒ ｍｉｎｉｍｕｍ ｉｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ［Ｊ］Ｉｎｔ．Ｊｏｕｒｎａｌ ｏｆ Ｃｏｎｔｏｌｒ， ｌ９９５，６２（６）：ｌ３９ｌ～ｌ４０８． ［６】 Ｗ川ｉｓ，ＭｌＪ．．Ｍａｓｓｉｍｏ、Ｃ Ｄ，Ｍｏｎｔａｇｕｅ，Ｇ．Ａ．，ｅｔ ａ１．Ａｒｔｉｆｉｃｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｉｎ ｐｒｏｃｅｓｓ ｅｎｇｉｎｅｅｒｉｎｇ［Ｊ］．ＩＥＥ Ｐｒｏｃ．－Ｄ．１ ９９ ｌ，ｌ ３８ （３１：２５６～２６６． ＮＮ Ｂａｓｅｄ Ｎｏｎｌｉｎｅａｒ Ｄｙｎａｍｉｃ Ｓｙｓｔｅｍ Ｍｏｄｅｌｉｎｇ ｂｙ Ｕｓｉｎｇ ＭａｔＬａｂ ＸＩＡ Ｄｉｎｇ—ｃｈｕｎ ，ＱＩＮ Ｘｉａｏ—ｚｈｅｎ （１ Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ，Ｗｕｈａｎ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ，Ｗｕｈａｎ Ｈｕｂｅｉ ４３００７３，Ｃｈｉｎａ； ２ Ｈｕａｚｈｏｎｇ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ，Ｗｕｈａｎ Ｈｕｂｅｉ ４３００７４，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｈｉｓ ｐａｐｅｒ ｉｎｔｒｏｄｕｃｅｓ ｔｈｅ ｐｒｉｎｃｉｐｌｅ ｏｆ ＮＮ ｂａｓｅｄ ｄｙｎａｍｉｃ ｓｙｓｔｅｍ ｍｏｄｅｌｉｎｇ ａｎｄ ｔｈｅ ｒｅａｌｉｚａｔｉｏｎ ｕｓｉｎｇ ＭａｔＬａｂ．Ｓｅｖｅｒａｌ ｌｅａｒｎｉｎｇ ａｐｐｒｏａｃｈｅｓ ａｎｄ ｔｈｅｉｒ ｆｕｎｃｔｉｏｎｓ ｈａｖｅ ｂｅｅｎ ｃｏｍｐａｒｅｄ ａｎｄ ｔｈｅ ｓｉｍｕｌａｔｉｏｎ ｒｅｓｕｌｔｓ ａｒｅ ａｌｓｏ ｐｒｅｓｅｎｔｅｄ． Ｋｅｙ ｗｏｒｄｓ：ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ；ｍｏｄｅｌｉｎｇ；ｓｉｍｕｌａｔｉｏｎ
