第３９卷第４期 电气电子教学学报 ＪＯＵＲＮＡＬ ＯＦ ＥＥＥ Ｖｏ１．３９ Ｎｏ．４ Ａｕｇ．２０１７ ２０１７年８月 基于卷积神经网络的图像识别教学实验 祝世平，周富强，魏新国，温思寒 （北京航空航天大学仪器科学与光电工程学院，北京１００１９１） 摘要：图像识别是“图像处理”教学中的重要内容。本文在Ｌｉｎｕｘ环境下使用ｉＴｏｒｃｈ ｎｏｔｅｂｏｏｋ可视化界面利用卷积神经网络实现ｍｎｉｓｔ手写数字 体的准确识别，并详细介绍卷积神经网络的原理，给出直观的实验结果。教学实践表明，通过具有应用性和趣味性的实验可以提高学生的积极 性，加深对课程理论的认知，培养其分析问题和解决问题的能力。 关键词：图像识别；卷积神经网络；ｉＴｏｒｃｈ 中图分类号：Ｇ４２６ 文献标识码：Ａ 文章编号：１００８４３６８６ｌ２０１７）０４４３１２４４３４ Ｉｍａｇｅ Ｒｅｃｏｇｎｉｔｉｏｎ Ｔｅａｃｈｉｎｇ Ｅｘｐｅｒｉｍｅｎｔ Ｂａｓｅｄ ｏｎ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ＺＨＵ Ｓｈｉ－ｐｉｎｇ，ＺＨＯＵ Ｆｕ－ｑｉａｎｇ，ＷＥＩ Ｘｉｎ－ｇｕｏ，ＷＥＮ Ｓｉ—ｈａｎ （Ｓｃｈｏｏｌ ｏｆ Ｓｃｉｅｎｃｅ ａｎｄ Ｏｐｔｏｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｂｅｉｈａｎｇ Ｕｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ １００１９１，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｉｍａｇｅ ｒｅｃｏｇｎｉｔｉｏｎ ｉｓ ｔｈｅ ｉｍｐｏｒｔａｎｔ ｃｏｎｔｅｎｔ ｏｆ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ ｃｏｕｒｓｅ．Ｉｎ ｔｈｉｓ ｐａｐｅｒ，ｕｎｄｅｒ ｔｈｅ ｅｎｖｉｒｏｎ— ｍｅｎｔ ｏｆ Ｌｉｎｕｘ，ｗｅ ｒｅａｌｉｚｅ ｔｈｅ ａｃｃｕｒａｔｅ ｈａｎｄｗｒｉｔｔｅｎ ｄｉｇｉｔ ｒｅｃｏｇｎｉｔｉｏｎ ｆｒｏｍ ｔｈｅ ｄａｔａ ｏｆ ｍｎｉｓｔ ｂｙ ｕｓｉｎｇ ａ ｖｉｓｕａｌ ｉｎｔｅｒ— ｆａｃｅ ｃａｌｌｅｄ ｉｔｏｒｃｈ ｎｏｔｅｂｏｏｋ，ｉｎｔｒｏｄｕｃｅ ｔｈｅ ｐｒｉｎｃｉｐｌｅ ｏｆ ｔｈｅ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｉｎ ｄｅｔａｉｌ，ａｎｄ ｇｉｖｅ ａｎ ｉｎｔｕｉ— ｔｉｖｅ ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ．Ｔｈｅ ｔｅａｃｈｉｎｇ ｅｘｐｅｒｉｅｎｃｅ ｓｈｏｗｓ ｔｈａｔ ｓｕｃｈ ｋｉｎｄ ｏｆ ｅｘｐｅｒｉｍｅｎｔ ｗｈｉｃｈ ｅｍｂｏｄｉｅｓ ｉｎｔｅｒｅｓｔｉｎｇ— ｎｅｓｓ ａｎｄ ｐｒａｃｔｉｃａｌ ａｐｐｌｉｃａｔｉｏｎ ｈａｓ ｔｈｅ ａｄｖａｎｔａｇｅ ｏｆ ｉｎｃｒｅａｓｉｎｇ ｔｈｅ ｓｔｕｄｅｎｔｓ ｉｎｔｅｒｅｓｔ ｉｎ ｔｈｅ ｃｏｕｒｓｅ，ｄｅｅｐｅｎ ｔｈｅ ｃｏｇｎｉ— ｔｉｏｎ ｏｆ ｃｕｒｒｉｃｕｌｕｍ ｔｈｅｏｒｙ ａｎｄ ｃｕｌｔｉｖａｔｅ ｔｈｅｉｒ ａｂｉｌｉｔｙ ｔｏ ａｎａｌｙｚｅ ａｎｄ ｓｏｌｖｅ ｐｒｏｂｌｅｍｓ． Ｋｅｙｗｏｒｄｓ：ｉｍａｇｅ ｒｅｃｏｇｎｉｔｉｏｎ；ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ；ｉＴｏｒｃｈ ０ 引言 图像识别是“数字图像处理”课程的重要内容， 随着图像处理技术的迅速发展，图像识别技术的应 用领域越来越广泛¨Ｊ。其中，好的识别技术是关键 所在，怎么样提高识别率和识别的速度意义重大，直 接关系到图像识别的实用性和安全性。目前，图像 习的一项重要技术，卷积神经网络（ＣＮＮ）成功训练 了首个深层神经网络结构，已在图像识别、语音识别 等领域取得卓越成绩 Ｊ。另外，在Ｇｏｏｇｌｅ公司的ａ１． ｐｈＧｏ运用深度学习的方法战胜围棋高手李世石后， 人们对深度学习的好奇掀起了高潮，故为了更好地 满足学生的求知欲，激发学生的积极性，本课程设计 了基于卷积神经网络的图像识别实验，并在ｉＴｏｒｃｈ ｎｏｔｅｂｏｏｋ可视化界面下训练ＭＮＩＳＴ手写数据集，测 识别方法大多采用人工方式提取特征，不仅费时费 力，而且提取困难；而深度学习是一种非监督学习， 试其识别准确度。通过直观的实验结果，使学生在 实验中达到以下锻炼： （１）熟悉Ｌｉｎｕｘ开发环境，并掌握对Ｔｏｒｃｈ， 学习过程中可以不知道样本的标签值，整个过程无 需人工参与也能提取到好的特征。作为实现深度学 收稿日期：２０１６－０７－０５；修回日期：２０１６—１１．１１ 基金项目：北京航空航天大学仪器科学与光电工程学院教改项目 第一作者：祝世平（１９７０一），男，副教授，主要从事图像处理教学和视频压缩、计算机视觉、机器视觉在精密测量中的应用等方面的研究，Ｅ—ｍａｉｌ ｓｐｚｈｕ＠１６３．ｃｏｒｎ 第４期 祝世平，周富强，魏新国，温思寒：基于卷积神经网络的图像识别教学实验 ｉＴｏｒｃｈ的安装及使用； （２）了解深度学习，并理解卷积神经网络的概 念，掌握其实现流程； 并在Ｉｎ［］：命令行输人命令测试，便输出如下 图３的界面。 Ｉｎ【１】ｌ Ｅ￣ｕｉｒｅ。ｉｍａｇｅ’； （３）更加深刻的理解图像识别的原理，并对卷 积神经网络技术在图像识别上的应用有所掌握。 另外，实验提供的可视化平台，使学生可以更直 观地对程序进行调试及运行，提高了其动手实践和 分析与解决问题的能力。 ｚｎ Ｉ ２ｌ：￣ｔｏｒｃｈ．ｉｍ驴“ｉ越 ・ｌｅｎａｌｌ，ｉ¨ ・ｌｅｎａｆ１．岫神．１ｅａａ（】’ Ｏｕｔ【２ｌｔ １实验环境配置 本实验使用的ｉＴｏｒｅｈ ｎｏｔｅｂｏｏｋ是一个通过Ｗｅｂ 图３命令测试结果 由图３可看出，该界面能够直观显示出我们的 输入，并能分层次输入，便于学生对程序更好的调试 及理解。 界面实现交互的ｓｈｅｌｌ，其中ｉＴｏｒｃｈ是Ｔｏｒｃｈ的ｉＰｙ— ｔｈｏｎ内核。 首先，我们需要一台配置好Ｐｙｔｈｏｎ和Ｔｏｒｃｈ７的 Ｌｉｎｕｘ系统，再针对ｉＴｏｒｃｈ ｎｏｔｅｂｏｏｋ配置ｉＴｏｒｃｈ， 另外，由于本次实验需要对图像进行显示，故需 要安装ｉｍａｇｅ库，在运行ｉｔｏｒｃｈ ｎｏｔｅｂｏｏｋ前在终端键 人：ｌｕａｒｏｃｋｓ ｉｎｓｔａｌｌ ｉｍａｇｅ进行安装。 ｉＴｏｒｃｈ是Ｔｏｒｃｈ里面的一个包，它能很轻松地显示图 片、视频和音频等等，但是需要和ｉｐｙｔｈｏｎ搭配使用， 故需要安装ｉＰｙｔｈｏｎ。 打开终端，输入： ｗｇｅｔ ｈｔｔｐ：／／ｉｐｙｔｈｏｎ．ｓｅｉｐｙ．ｏｒｇ／ｄｉｓｔ／ｉｐｙｔｈｏｎ－０．８． ４．ｔａｒ．ｇｚ 最后，本文是针对ＭＮＩＳＴ数据库中的数字进行 训练及识别，故需要对其进行安装，在运行ｉｔｏｒｅｈ ｎｏｔｅｂｏｏｋ前在终端键入：ｌｕａｒｏｃｋｓ ｉｎｓｔａｌｌ ｍｎｉｓｔ完成安 装。 ＭＮ１ＳＴ是一个手写数字数据库，它有６００００个 训练样本集和１００００个测试样本集。它是ＮＩＳＴ数 下载完毕后，输入解压缩命令：ｔａｒ ｚｘｖｆ ｉｐｙｔｈｏｎ一 ０．８．４．ｔａｒ．ｇｚ 据库的一个子集。数据库存储并不是标准的图像格 式，这些图像数据都保存在二进制文件中，所有的图 片都经过了尺寸标准化和中心化，图片的大小固定 为２８ Ｘ ２８。 切换到解压缩的目录：ｃｄ ｉｐｙｔｈｏｎ－０．８．４ 输人命令安装：ｐｙｔｈｏｎ ｓｅｔｕｐ．ＰＹ ｉｎｓｔａｌｌ 但此时还是无法使用，需要我们再安装ｉｐｙｔｈｏｎ— ｎｏｔｅｂｏｏｋ，安装命令如下：ｓｕｄｏ ａｐｔ—ｇｅｔ ｉｎｓｔａｌｌ ｉｐｙｔｈｏｎ— ｎｏｔｅｂｏｏｋ ２ 实验设计 为了加强学生对卷积神经网络在图像识别的理 解和应用，提高学生运用卷积神经网络等深度学习 方法来解决实际生活中图像识别的能力，本实验要 求学生自行搭建程序运行所需环境，熟悉对Ｌｉｎｕｘ － … 然后，在终端输入：ｉｔｏｒｃｈ ｎｏｔｅｂｏｏｋ，在浏览器中 便会弹出ｉＴｏｒｃｈ ｎｏｔｅｂｏｏｋ的Ｗｅｂ界面，如图ｌ所示。 ｎ ＿Ｎｏｔｅｂｏｏｋ ｋ ＿…－●■一系统的使用，并给出已经训练好的训练集，让学生自 己ｘ，ｔｉ￣ＪＪ试集中的数据进行测试，给出其准确度，并随 图Ｉ ｉＴｏｒｃｈ ｎｏｔｅｂｏｏｋ的Ｗｅｂ界面 机显示图片验证其正确性。 同时，为了让学生更快速的进入实验状态，发挥 自己的动手实践能力，我们给出卷积神经网络的结 点击右上角的ｎｅｗ ｎｏｔｅｂｏｏｋ建立一个新的笔记 本，界面如图２所示。 ；－＿，… ＾ｎ 构，并给出该识别过程中最主要的模型建立流程。 ’ｙ ｘｔＪ ’ Ｉ Ｉ ｔｔ●●●●’Ｉ ２．１卷积神经网络的网络结构 卷积神经网络ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔ． －Ｉ｝ ｗｏｒｋｓ）是一种为了处理二维输入数据而特殊设计的 图２建立新笔记本 多层人工神经网络，网络中的每层都由多个二维平 ｌ２６ 电气电子教学学报 第３９卷 面组成，而每个平面由多个独立的神经元组成 引。 首先，我们需要首先建立一个容器用来存放各 种模块： ｍｏｄｅｌ＝Ｆｉｎ．Ｓｅｑｕｅｎｔｉａｌ（） 如图４示，这是一个简单的卷积神经网络 ＣＮＮ。 然后，放入一个ｒｅｓｈａｐｅ模块。因为ｍｎｉｓｔ库的 原始图片是储存为１列７２８个像素的。我们需要把 它们变成１通道２８×２８的一个方形图片。 ｍｏｄｅｌ：ａｄｄ（ｎｎ．Ｒｅｓｈａｐｅ（１，２８，２８）） 接下来要把图片的每个像素除以２５６再乘以 ３．２，也就是把像素的取值归一化到０至３．２之间。 ｍｏｄｅｌ：ａｄｄ（ｎｎ．ＭｕｌＣｏｎｓｔａｎｔ（１／２５６．０×３．２）） 图４简单的ＣＮＮ 然后是第一个卷积层，它的参数按顺序分别代 表：输入图像是１通道，卷积核数量２０，卷积核大小 ５ Ｘ ５，卷积步长Ｉ×Ｉ，图像留边０ Ｘ０。 ｍｏｄｅｌ：ａｄｄ（Ｆｉｎ．ＳｐａｔｉａｌＣｏｎｖｏｌｕｔｉｏｎＭＭ（１，２０，５， ５，１，１，０，０）） 一输入图像通过和三个可训练的滤波器和可加偏 置进行卷积，卷积后在Ｃ１层产生三个特征映射图。 然后特征映射图中每组的四个像素再进行求最大 值，加权值，加偏置，通过一个ＲｅＬｕ函数得到三个 ｓ２层的特征映射图。这些映射图再经过滤波得到 ｃ３层。这个层级结构再和ｓ２一样产生Ｓ４。最终， 个池化层，它的参数按顺序分别代表：池化大 小２×２，步长２×２，图像留边０×０。 ｍｏｄｅｌ：ａｄｄ（ＩａＦｉ．ＳｐａｔｉａｌＭａｘＰｏｏｌｉｎｇ（２，２，２，２， ０，０）） 这些像素值被光栅化，并连接成一个向量输入到传 统的神经网络，得到输出。 一再接一个卷积层和一个池化层，由于上一个卷 积层的核的数量是２０，所以这时输入图像的通道个 数为２Ｏ。 ｍｏｄｅｌ：ａｄｄ（ａｎ．ＳｐａｔｉａｌＣｏｎｖｏｌｕｔｉｏｎＭＭ（２０，５０， 般地，Ｃ层为特征提取层，每个神经元的输入 与前一层的局部感受野相连，并提取该局部的特征， 一旦该局部特征被提取后，它与其他特征问的位置 关系也随之确定下来；Ｓ层是特征映射层，网络的每 个计算层由多个特征映射组成，每个特征映射为一 个平面，平面上所有神经元的权值相等。特征映射 结构采用影响函数核小的ｓｉｇｍｏｉｄ函数作为卷积网 络的激活函数，使得特征映射具有位移不变性。 此外，由于一个映射面上的神经元共享权值，因 ５，５，１，１，０，０）） ｍｏｄｅｌ：ａｄｄ（Ｆｉｎ．ＳｐａｔｉａｌＭａｘＰｏｏｌｉｎｇ（２，２，２，２， ０，０）） 在接入全连接层之前，我们需要把数据重新排 成一列，所以有需要一个ｒｅｓｈａｐｅ模块。 ｍｏｄｅｌ：ａｄｄ（ｎｎ．Ｒｅｓｈａｐｅ（４×４×５０）） 而减少了网络自由参数的个数，降低了网络参数选 择的复杂度。卷积神经网络中的每一个特征提取层 （Ｃ一层）都紧跟着一个用来求局部平均与二次提取 这个参数为什么是４×４×５０，即８００呢？原因 是：我们的输入是１通道２８×２８的图像，经过第一 个卷积层之后变成了２０通道２４×２４的图像。又经 的计算层（Ｓ一层），这种特有的两次特征提取结构使 网络在识别时对输入样本有较高的畸变容忍能力。 ２．２模型建立流程 过池化层，图像尺寸缩小一半，变为２０通道１２× ｌ２。通过第二个卷积层，变为５０通道８×８的图像， 又经过池化层缩小一半，变为５０通道４×４的图像。 基于深度学习的图像识别模型流程主要是：把 所以这其中的像素一共有４×４×５０＝８００个。 接下来是第一个全连接层。输入为４×４×５０ ＝８００，输出为５００。 ｍｏｄｅｌ：ａｄｄ（ｎｎ．Ｌｉｎｅａｒ（４×４×５０，５００）） 图像输入到神经网络中，利用深度学习的前向传播 和反向传播误差等算法来最小化损失函数，更新权 值后，得到一个较优的识别模型，然后利用此模型对 新的图像来进行识别。 在该基于卷积神经网络的图像识别实验中，最 核心的部分就是此模型的建立。 两个全连接层之间有一个ＲｅＬＵ激活层。 ｍｏｄｅｌ：ａｄｄ（Ｆｉｎ．ＲｅＬＵ（）） 然后是第二个全连接层，输入是５００，输出是 第４期 祝世平，周富强，魏新国，温思寒：基于卷积神经网络的图像识别教学实验 ｌ０，也就代表了ｌＯ个数字的输出结果，哪个节点的 响应高，结果就定为对应的数字。 ｍｏｄｅｌ：ａｄｄ（ｎｉｌ．Ｌｉｎｅａｒ（５００，１０）） 提高了运行速度。 ｏｕｑ７ｌ：Ｅｐｏｃｈ：２８ Ｃｕｒｒｅｎｔ ｌｏｓｓ：０．０４１ ２４９ ０ｕｔ【７】：Ａｃｃｕｒａｃｙ ｏｒｌ ｔｈｅ ｔｅｓｔｓｅｔ：９８．０１％ ｏｕｔ［７］：Ｅｐｏｃｈ：２９ Ｃｕｒｒｅｎｔ ｌｏｓｓ：０．０４００７４ 最后是一个ＬｏｇＳｏｆｔＭａｘ层，用来把上一层的响 应归一化到０至１之间。 ｍｏｄｅｌ：ａｄｄ（ｒｉｌ１．ＬｏｇＳｏｆｔＭａｘ（）） ｏｕｔｆｆ］：Ａｃｃｕｒａｃｙ ＯＮ ｔｈｅ ｔｅ￣ｓｅｔ：９８．４％ ０ｏｕｔｒ７】：Ｅｐｏｃｈ：３０ Ｃｕｒｒｅｎｔ ｌｏｓｓ：０．０３９２１ ９ Ｏｕｔｍ：Ａｃｃｕｒｃｙ ａｏｎ ｔｈｅ ｔｅ￣ｓｅｔ：９８．０１％ 至此，模型的建立就完成了。我们还需要一个 判定标准。由于我们这一次是要解决分类问题，一 般使用ｎｉｌ．ＣｌａｓｓＮＬＬＣｒｉｔｅｒｉｏｎ这种类型的标准（Ｎｅｇ— ａｔｉｖｅ Ｌｏｇ Ｌｉｋｅｌｉｈｏｏｄ）。 图６ ６次迭代图像识别正确率 针对训练好的模型，我们从测试集中随机选取 图片进行验证，其结果示于图７和８，无论什么形式 的手写体，该算法都能够对其正确的识别。 ｃｒｉｔｅｒｉｏｉｌ＝ｎｉｌ．ＣｌａｓｓＮＬＬＣｒｉｔｅｒｉｏｎ（） 到这里，网络模型的部分就都已经完成了，其具 体流程图如下图５。 国 Ｏｕｔ（２７］：ｎｉｌ－７・００４５１ ２７８６８６５２ １ ２ ４４９１５２７５５７３７３ ・１０．２１ １６９４７１７４０７ ．ｎ删 ｍ洲。６．。－， ‘ １ ２ －８９５９０４０６４１ ７８４７ ．．．．８００４．５５０９３３８３８ ３ －５．５９８５８６０８２４５８５ ４ ５ ．１３。５６４２８１４６３６２３ ．ｏ．００５２９００３１４３３１０５５ ４３８５４９０４。’ ４８ －ｏｕｔ［４１］：３ －１１．９９７９７５３４９４２６ ４ ５ －４．１７１０９８７０９１０６４ ＿８．８５６５０９２０８６７９２ １ｊ０￣１２７１：６７７ ８ ９ ２Ｒ７７２，７７９ ．９２Ｓ３５８７７２２７７８ ．８．０１８０４４４７１７４０７ １： ６７＿６－１２．０＿６１７１２１９６０９８７３９３８７ｓ８４４０， ’Ｉ‘・口，ｌ Ｉ，，，，ｏ】 ８ ９ ．９・１６４２２８４３９３３１ １ ・１０．１０７５６３９７２４７３ ．１０．１３１８６１６８６７０７ ｃｌａｓ￣ｆｌｅｄ ｏｕｔｐｕｔ：５ ｌａｂｅｌ：５ ｃｌａｓ￣ｆｌｅｄ ｏｕｔｐｕｔ：６ ｌａｂｅｌ：６ ……ｒＩｇｈｔ…… ……ｒｌ曲卜…一 图７图像识别算例１测试结果图８图像识别算例２测试结果 ４ 结语 本文详细讨论了基于卷积神经网络的图像识别 实验的原理和流程，并以ｉＴｏｒｃｈ ｎｏｔｅｂｏｏｏｋ的可视化 界面直观的显示出其准确性。而且，通过让学生自 行搭建程序运行所需环境，自行编程对测试集中的 数据进行测试，并随机显示图片验证其正确性，大大 提高了学生的编程能力，加深了学生对深度学习的 了解，让学生更加全面的理解卷积神经网络在图像 识别中的应用。 参考文献： 邓柳，汪子杰．基于深度卷积神经网络的车牌识别研究［Ｊ］。 成都：计算机应用研究，２０１６，３３（３）：９３０－９３２． 徐彩云．图像识别技术研究综述［Ｊ］．菏泽：电脑知识与技术， ２０１３，９（１Ｏ）：２４４６－２４４７． 图５网络模型流程图 卢宏涛，张秦川．深度卷积神经网络在计算机视觉中的应用 ３ 实验结果 本次实验最终确定神经网络的迭代次数（ｉｔｅｒａ— ｔｉｏｉｌ）为３０，其正确率如图６所示，可达到９８％以上， 相比较其他算法，错误率大大减少，且由观察可知， 只需迭代３０次，准确率便可稳定，缩短了训练时间， 研究综述［Ｊ］．南京：数据采集与处理，２０１６，３１（１）：ｌ—ｌ７． 张文达，许悦雷，倪嘉成，马时平，史鹤欢．基于多尺度分块 卷积神经网络的图像目标识别算法［Ｊ］．成都：计算机应用， ２０１６，３６（４）：１０３３—１０３８。 范哲意，曾亚军，蒋姣，翁澍沁，刘志文．视频人脸识别实验 平台的设计与实现［Ｊ］．北京：实验技术与管理，２０１６，３３ （３）：１５９—１６１，Ｉ６５．
