第５期 李鹏，等：大数据环境下一种基于学习的实体识别方法 ＤＯＩ：１０．１６４４２／ｊ．ｃｎｋｉ．ｑｌｇｙｄｘｘｂ．２０１６．０５．０１ １ 文章编号：１００４—４２８０（２０１６）０５—００５５—０４ 大数据环境下一种基于学习的实体识别方法 李鹏，王润泽，冯剑龙，薛坤 （齐鲁工业大学信息学院，山东济南２５０３５３） 摘要：针对传统实体识别方法的主要研究对象是小数据集并且对结果的准确性关注较高的情况，在大数据 的背景下提出了一种利用Ｈａｄｏｏｐ平台和ＭａｐＲｅｄｕｃｅ框架的基于学习的实体识别方法。通过对ＭａｐＲｅｄｕｃｅ框架流 程的分析，运行基于机器学习的算法，并行处理数据集来识别出数据实体。实验表明，该方法提高了实体识别的效 果，具有很好的处理性能和效果，满足了识别海量数据中实体的需求。 关键词：大数据；实体识别；Ｈａｄｏｏｐ；ＭａｐＲｅｄｕｃｅ 中图分类号：ＴＰ３０１ 文献标识码：Ａ Ａｎ Ｅｎｔｉｔｙ Ｒｅｃｏｇｎｉｔｉｏｎ Ｍｅｔｈｏｄ Ｂａｓｅｄ ｏｎ Ｌｅａｒｎｉｎｇ Ｕｎｄｅｒ Ｂｉｇ Ｄａｔａ Ｅｎｖｉｒｏｎｍｅｎｔ ＬＩ Ｐｅｎｇ，ＷＡＮＧ Ｒｕｎ－ｚｅ，ＦＥＮＧ Ｊｉａｎ—ｌｏｎｇ，ＸＵＥ Ｋｕｎ （Ｓｃｈｏｏｌ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ，Ｑｉｌｕ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ，Ｊｉｎａｎ ２５０３５３，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ａｃｃｏｒｄｉｎｇ ｔｏ ｔｈｅ ｔｒａｄｉｔｉｏｎａｌ ｅｎｔｉｔｙ ｒｅｃｏｇｎｉｔｉｏｎ ｍｅｔｈｏｄｓ，ｔｈｅ ｓｔｕｄｙ ｉｓ ｍａｉｎｌｙ ｔｏ ｒｅｓｅａｒｃｈ ｔｈｅ ｏｂｊｅｃｔｓ ｗｈｉｃｈ ａｒｅ ｓｍａｌｌ ｄａｔａ ｓｅｔｓ，ａｎｄ ｍｏｒｅ ａｔｔｅｎｔｉｏｎ ｉｓ ｐａｉｄ ｔｏ ｔｈｅ ａｃｃｕｒａｃｙ ｏｆ ｔｈｅ ｒｅｓｕｌｔｓ．Ｔｈｉｓ ｐａｐｅｒ ｐｒｅｓｅｎｔｓ ａｎ ｅｎｔｉｔｙ ｒｅｃｏｇｎｉｔｉｏｎ ｍｅｔｈｏｄ ｂａｓｅｄ ｏｎ ｌｅａｒｎｉｎｇ ｂｙ ｕｓｉｎｇ Ｈａｄｏｏｐ ｐｌａｔｆｏｒｍ ａｎｄ ＭａｐＲｅｄｕｃｅ ｆｒａｍｅｗｏｒｋ ｕｎｄｅｒ ｂｉｇ ｄａｔａ ｅｎｖｉｒｏｎｍｅｎｔ．Ｔｈｒｏｕｇｈ ｔｈｅ ａｎａｌｙｓｉｓ ｏｆ ＭａｐＲｅｄｕｃｅ ｐｒｏｃｅｓｓ，ｒｕｎｎｉｎｇ ｔｈｅ ａｌｇｍ’ｉｔｈｍ ｂａｓｅｄ ｏｎ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ａｎｄ ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｉｎｇ ｄａｔａ ｓｅｔｓ ｔｏ ｉｄｅｎｔｉｆｙ ｔｈｅ ｄａｔａ ｅｎｔｉｔｉｅｓ．Ａｎｄ ｔｈｅ ｒｅｓｕｌｔｓ ｏｆ ｅｘｐｅｒｉｍｅｎｔｓ ｓｈｏｗ ｔｈａｔ ｔｈｉｓ ｍｅｔｈｏｄ ｉｍｐｒｏｖｅｓ ｔｈｅ ｅｆｆｅｃｔ ｏｆ ｅｎｔｉｔｙ ｒｅｃｏｇｎｉｔｉｏｎ，ｗｈｉｃｈ ｈａｓ ｇｏｏｄ ｐｅｒｆｏｒｍａｎｃｅ ａｎｄ ｒｅｓｕｌｔｓ ａｎｄ ｃａｎ ｍｅｅｔ ｔｈｅ ｄｅｍａｎｄ ｆｏｒ ｒｅｃｏｇｎｉｔｉｏｎ ｏｆ ｈｕｇｅ ａｍｏｕｎｔｓ ｏｆ ｄａｔａ ｅｎｔｉｔｉｅｓ． Ｋｅｙ ｗｏｒｄｓ：ｂｉｇ ｄａｔａ；ｅｎｔｉｔｙ ｒｅｃｏｇｎｉｔｉｏｎ；Ｈａｄｏｏｐ；ＭａｐＲｅｄｕｃｅ 随着信息技术的不断发展和进步，越来越多的 工业企业进入工业自动化阶段，伴随着工业企业的 不断发展，数据库中产生了越来越多的数据，其中， 结构化数据、半结构化数据甚至非结构化数据…正 以指数级的速度增长，由此构成的大数据环境给企 业处理这些数据带来了越来越多的麻烦。大数据环 多个实体 指向同一实体的现状，同时数据库中存 在数据冗余的现象，实体识别技术可以很好的应用 于这样的环境下，对于企业提高数据利用率、提高数 据处理精度都有很大的帮助。基于大数据的环境 下，提出了一种基于学习的实体识别方法，能够有效 地应用于企业数据处理和融合当中，在某种程度上 可以完成数据去冗余、提高数据处理精度。 境下，企业要对数据进行有效地存储、管理和分 析 ］，如何高效率的运用这些海量数据并从中得到 需要的信息已经成为了当前亟待解决的问题之一。 为了解决这种现状，需要对收集到的数据进行 １实体识别技术 在同一个或多个数据库中，同一个数据对象或 数据融合或一定程度的挖掘。针对现实世界中存在 收稿日期：２０ｌ６—０９一ｌ６ 网络出版时间：２０１６—１０—３１ 基金项目：山东省科技发展计划（２０１４ＧＧＸ１０１０５２） 作者简介：李鹏（１９９Ｏ一），男，山东泰安人，硕士生，研究方向：云计算与大数据，ｍａｒｓｐｅｎｇｌｅｅ＠１６３．ｃｏｍ． ５６ 齐鲁工业大学学报 第３０卷 实体可能有很多种描述形式。由于描述标准不统 一、对信息的语言规范也不一致，导致来自多个数据 ２基于学习的实体识别方法 基于学习的实体识别方法的核心在于，在判断 多个数据记录是否匹配前有一个学习的过程，而不 是盲目的去判断其是否匹配。通过学习过程，可以 源的信息描述多种多样，对一个对象或实体的描 述 ］也就出现了差异的情况。随着信息技术和工 业自动化的不断发展，实体识别技术面临着极大的 考验。首先是数据量的不断积累，导致计算量不断 增加，计算难度大、计算效率低成为了当前实体识别 的普遍现状；数据来源广泛 ｊ，数据结构多样化，同 提高实体识别的效率，减少识别过程处理时间，同时 还能提高识别的准确度。换言之，基于学习的实体 时存在冗余 现象；数据之间存在复杂的关系 ， 实体或数据对象间的关系有待于去辨别和分析。 实体识别技术是通过计算规则和方法来判断几 个数据记录描述的是否为同一个实体，而实体识别 的目的就是从多个数据源中识别出描述的同一对象 或实体。实体识别技术对于数据清洗 、数据去冗 余、优化处理、数据挖掘、信息检索和数据库管理等 方面都起着十分重要的作用。 表１所示为同一个实体直接无碱粗纱在一个数 据库中的不同描述，有的数据是缺失的，还可能出现 错误的现象。 表１实体举例 假设尺和Ｌｓ分别为两个不同的数据集， 是识 别函数（用它来计算数据记录描述的是否为同一个 实体），０是合并函数（通过某种规则把数据记录合 并成一个记录并且对整个数据库不产生影响）， 是实体识别后产生的新的实体数据集。 对于几个数据记录，ｉ， 分别表示某一个数，其 中０＜ｉ＜ｎ，ｏ＜ｊ＜ｒｔ且ｉ≠．『，ｅ 和ｅｉ分别表示ｎ个数据 记录中的某一个数据记录。所以，对单个数据集 的实体识别过程可以简单描述为： 所有ｅ ，ｅｆ，（ｅ ∈Ｒ）＾（ｅ Ｒ）＾ （ｅ ，ｅ ） ＝Ｒ—ｅ￣－ｅｊ＋Ｏ（ｅｉ，ｅ ）。 （１） 对于数据集 和．ｓ，其实体识别过程可以简单 描述为： 所有ｅ ，ｅｊ，（ｅ ∈Ｒ）＾（ｅｉ∈Ｓ）八 （ｅ ，ｅｊ） ＝Ｒ＋Ｓ－ｅ —ｅｉ＋Ｏ（ｅ ，ｅ ）。 （２） 根据不同的结构和框架，多个数据集的实体识 别也可以表示成这样的描述形式。 识别过程，把识别过程看作是一个分类问题，即把所 有的数据分成一个个的数据对，然后利用一个分类 器来判断记录对是否匹配。 基于学习的实体识别的算法可以描述为： Ｓｔｅｐｌ：从数据集中挑选出两个小部分数据作为 训练数据集，进行预处理并计算其笛卡尔积组成数 据对。训练数据集主要用来训练分类器。 Ｓｔｅｐ２：根据 （３≤ｋ＜１０）个匹配函数计算训练 数据集数据对的相似度，根据相似度结果训练并生 成分类器。 Ｓｔｅｐ３：对测试数据集进行预处理并计算其笛卡 尔积，形成数据对形式，并由ｋ个匹配函数计算相 似度。 Ｓｔｅｐ４：由相似度结果，应用到Ｓｔｅｐ２生成的分类 器中并生成实体识别结果。 基于学习的实体识别的整个过程，可以简单地 描述为两个阶段：第一阶段是训练阶段，第二阶段是 应用阶段。其中，训练阶段主要是对训练数据集进 行预处理，根据ｋ个匹配函数计算每一个数据对的 相似度，然后根据相似度计算和是否匹配的结果来 生成分类器，即生成了一个分类模型。应用阶段主 要是将剩下的数据作为测试数据集，经过预处理和 相似度值后将结果应用到分类器当中，随后就会生 成最终的识别结果。简略流程图参照图１。 第二阶段：应用阶段 图１基于学习的实体识别工作流程图 通过利用ＭａｐＲｅｄｕｃｅ框架 能够快速分组的 优势，将输入的所有的数据对按照ｋｅｙ值部分是否 第５期 李鹏，等：大数据环境下一种基于学习的实体识别方法 ５７ 相同进行快速分组，能够明显提高整个处理过程的 效率。其中，对Ｍａｐ函数和Ｒｅｄｕｃｅ函数可以自定 义。经过Ｓｐｌｉｔ之后的每一条数据记录都会调用一 次Ｍａｐ函数，其中，ｉｓＥｎｔｉｔｙ（）函数用来检查输人的 每一个数据记录是否符合该实体的定义。只有满足 函数定义的数据记录，才可以被Ｍａｐ函数输出。 Ｍａｐ函数可以定义为： Ｍａｐ（Ｋｅｙ ｋｅｙ，Ｖａｌｕｅ ｖａｌｕｅ） ｆｏｒ ｅａｃｈ ｉｔｅｍ ｉ ｉｎ ＤａｔａＳｅｔ｛ ｉ＝０； ｉｆ ｉｓＥｎｔｉｔｙ（ｖａｌｕｅ，ｉ．ｇｅｔＩｎ￣ｏ（））＝：１ Ｅｍｉｔ（ｉ．ｇｅｔＫｅｙ（），ｉ．ｇｅｔＶａｌｕｅ（））； ｉ＋＋： ｝ Ｒｅｄｕｃｅ函数是对Ｍａｐ函数的输出进行处理。 经由Ｒｅｄｕｃｅ函数处理的ｋｅｙ．ｖａｌｕｅ会由一个Ｒｅｄｕｃｅ 进程来处理，以此保证每一个ｋｅｙ．ｖａｌｕｅ都不会被重 复处理。然后，Ｒｅｄｕｃｅ过程会将同一类的记录输 出。Ｒｅｄｕｃｅ函数可以定义为： Ｒｅｄｕｃｅ（Ｋｅｙ ｋｅｙ，Ｖａｌｕｅ ｖａｌｕｅ）｛ Ｌｉｓｔ ｓｕｍ＝ｎｅｗ Ｌｉｓｔ（）； ｗｈｉｌｅ（ｖａｌｕｅｓ．ｈａｓｎｅｘｔ（））｛ Ｓｕｍ．ａｄｄ（ｖａｌｕｅｓ．ｎｅｘｔ（）．ｇｅｔＶａｌｕｅ（））； ｝ Ｅｍｉｔ（ｋｅｙ，ｓｕｍ）； ｝ 经过对数据记录的处理，利用ＭａｐＲｅｄｕｃｅ的实 体识别模拟效果如图２所示。 图２ ＭａｐＲｅｄｕｃｅ用于实体识别的模拟效果图 ３实验与分析 实验环境是基于Ｈａｄｏｏｐ一２．７．２的平台，主要有 １个主节点和５个从节点；同时，利用了ＣｅｎｔＯＳ、 ＶＭｗａｒｅ、ＲｅｄＨａｔ、ＪＤＫ、Ｘｍａｎａｇｅｒ等工具进行实验。 所用的电脑处理器为Ｉｎｔｅｌ（Ｒ）Ｃｏｒｅ（ＴＭ）ｉ５—２４０ｏ ＣＰＵ＠３．１０ ＧＨｚ，内存１６．００ ＧＢ，６４位操作系统。 通过将Ｈａｄｏｏｐ搭建在Ｌｉｎｕｘ环境中，对主从节点进 行配置，并成功启动了Ｈａｄｏｏｐ集群。实验数据主要 来源于某制造企业的两个数据集尺和Ｓ，其中 中 有１４ ４５８条数据，Ｓ中有２６ ４９２条数据。 为了评估算法的精确性，将基于学习的实体识 别算法与基于规则的实体识别算法进行对比，采用 准确率、召回率和Ｆ１ Ｍｅａｓｕｒｅ来衡量识别结果。一 方面，选用商品、原材料和员工信息三类数据集作为 实体进行实验。以商品这一数据集为例，将商品名 称、商品编号和销售价格这三个字段作为ｋｅｙ，整条 数据记录作为ｖａｌｕｅ，形成＜ｋｅｙ，ｖａｌｕｅ＞键值对形式。 另一方面，选择实验集群中的某一个节点作为单机 处理数据集的环境，分别测试在其他节点数下的处 理数据的时间。实验结果如图３和图４所示。 图３ Ｆ１ Ｍｅａｓｕｒｅ比较 从节点数／个 图４不同节点数下的完成时间和加速比 图３所示为在固定某一类别的数据集的条件下 分别测试两种方法得到对应的Ｆ１ Ｍｅａｓｕｒｅ，通过对 比发现，基于学习的方法略占优势。图４所示为固 定一定数量的数据集的条件下，测量基于学习的方 ５８ 齐鲁工业大学学报 第３０卷 法在不同节点数的情况下识别过程的完成时间和加 速比，通过曲线的走向，可以得出该方法具有很好的 处理效果和性能。由此，可以得出，所提出的基于学 参考文献： ［１］ＬＵＯ Ｗ，ＬＩ Ｎ．Ａｐｐｌｉｃａｔｉｏｎ ｏｆ ｕｎｓｔｒｕｃｔｕｒｅｄ ｄａｔａ ｐｒｏｃｅｓｓｉｎｇ ａｎｄ ａｒｉａ— ｌｙｚｉｎｇ ｂａｓｅ ｏｎ ｃｈｉｎｅｓｅ ｉｎ ｄｉｇｉｔａｌ ｄａｔａ ｅｖｉｄｅｎｃｅ ｃｏｌｌｅｃｔｉｎｇ［Ｊ］．Ｉｎｔｅｒ－ ｎａｔｉｏｎａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｃｏｍｐｕ￣ｒ ｅｎｇｉｎｅｅｒｉｎｇ＆ｔｅｃｈｎｏｌｏｇｙ，２０１０， ７：７８０—７８３． 习的实体识别方法具有较快的处理速度和较高的识 别率，能够很好地运用于具体的应用中。 ［２］ ＥＭＡＮＩ Ｃ Ｋ，ＣＩＬＬＯＴ Ｎ，ＮＩＣＯＬＬＥ Ｃ．Ｕｎｄｅｒｓｔａｎｄａｂｌｅ Ｂｉｇ ４总结与展望 基于大数据的背景，提出了一种基于学习的实 Ｄａｔａ：Ａ ｓｕｒｖｅｙ［Ｊ］．Ｃｏｍｐｕ￣ｒ Ｓｃｉｅｎｃｅ Ｒｅｖｉｅｗ，２０１５，１７（８）：７Ｏ 一８１． ［３］ ＥＬＭＡＧＡＲＭＩＤ Ａ Ｋ，ＩＰＥＩＲＯＴＩＳ Ｐ Ｇ，ＶＥＲＹＫＩＯＳ Ｖ Ｓ．Ｄｕｐｌｉｃａｔｅ 体识别方法，该方法能够充分利用Ｈａｄｏｏｐ平台和 ＭａｐＲｅｄｕｃｅ框架，然后结合基于学习的算法，并行处 理数据集来识别出数据实体。实验表明所提出的方 法在一定程度上提高了实体识别的效果，具有很好 的处理性能，可以满足识别海量数据中实体的需求。 随着工业化的不断进步和发展，越来越多的机器设 备和传感器会源源不断地产生更多用传统方式难以 量化的数据，这对处理数据的技术提出了更加严格 和更高的要求，对企业数据库存储和处理也提出了 更大的挑战。下一步的研究中，需要尽可能寻找出 更加高效和智能的处理平台，同时研究和创新出更 多的算法和数学模型以保证更好地提高实体识别的 效率和效果，以期为更多的企业提供优质高效的数 据处理服务。 ｒｅｃｏｒｄ ｄｅｔｅｃｔｉｏｎ：Ａ ｓｕｒｖｅｙ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｋｎｏｗｌｅｄｇｅ＆ Ｄａｔａ Ｅｎｇｉｎｅｅｒｉｎｇ，２００７，１９（１）：１—１６． ［４］ ＮＡＤＥＡＵ Ｄ，ＳＥＫＩＮＥ Ｓ．Ａ ｓｕｒｖｅｙ ｏｆ ｎａｍｅｄ ｅｎｔｉｔｙ ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ ｃｌｓａｓｉｉｆｃａｔｉｏｎ［Ｊ］．Ｌｉｎｇｖｉｓｔｉｃａｅ Ｉｎｖｅｓｔｉｇａｔｉｏｎｅｓ，２００７，３０（１）：３—２６． ［５］ ＳＡＨＡ Ｓ，ＥＫＢＡＬ Ａ．Ｃｏｍｂｉｎｉｎｇ ｍｕｌｔｉｐｌｅ ｃｌａｓｓｉｆｉｅｒｓ ｕｓｉｎｇ ｖｏｔｅ ｂａｓｅｄ ｃｌａｓｓｉｉｆｅｒ ｅｎｓｅｍｂｌｅ ｔｅｃｈｎｉｑｕｅ ｆｏｒ ｎａｍｅｄ ｅｎｔｉｔｙ ｒｅｃｏｇｎｉｔｉｏｎ ［Ｊ］．Ｄａｔａ＆Ｋｎｏｗｌｅｄｇｅ Ｅｎｇｉｎｅｅｒｉｎｇ，２０１ ３，８５（８）：１５－３９． ［６］ ＡＲＡＳＵ Ａ，ＲＥ Ｃ，ＳＵＣＩＵ Ｄ．Ｌａｒｇｅ—Ｓｃａｌｅ ｄｅｄｕｐｌｉｃａｔｉｏｎ ｗｉｔｈ ｃｏｎ— ｓｔｒａｉｎｔｓ ｕｓｉｎｇ ｄｅｄｕｐａｌｏｇ［Ｊ］．Ｓｈａｎｇｈａｉ：ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒ－ ｅｎｃｅ ｏｎ Ｄａｔａ Ｅｎｇｉｎｅｅｒｉｎｇ，２００９：９５２—９６３． ［７］ ＲＩＴＴＥＲ Ａ，ＣＬＡＲＫ Ｓ，ＭＡＵＳＡＭ，ｅｔ ａ１．Ｎｍｎｅｄ ｅｎｔｉｔｙ ｒｅｃｏｇｎｉｔｉｏｎ ｉｎ ｔｗｅｅｔｓ：ａｎ ｅｘｐｅｒｉｍｅｎｔａｌ ｓｔｕｄｙ［Ｊ］．Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｅｍｐｉｉｒｃａｌ Ｍｅｔｈｏｄｓ ｉｎ Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，２０１ ｌ，６１（３）：１５２４ —１５３４． ［８］ＹＡＮＧ Ｇ Ｈ，ＬＩ Ｎ Ｎ，ＷＡＮＧ Ｈ Ｚ，ｅｔ ａ１．Ｔｈｅ ｏｐｔｉｍｉｚａｔｉｏｎ ｏｆｔｈｅ ｂｉｇ ｄａｔａ ｃｌｅａｎｉｎｇ ｂａｓｅｄ ｏｎ ｔａｓｋ ｍｅｒｇｉｎｇ［Ｊ］．Ｃｈｉｎｅｓｅ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍ． ｐｕｔｅｒｓ，２０１６，３９（１）：９７—１０８． ［９］ＤＥＡＮ Ｊ，ＧＨＥＭＡＷＡＴ Ｓ．ＭａｐＲｅｄｕｃｅ：ｓｉｍｐｌｉｆｉｅｄ ｄａｔａ ｐｒｏｃｅｓｓｉｎｇ ｏｎ ｌａｒｇｅ ｃｌｕｓｔｅｒｓ［Ｊ］．Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ Ｄｅｓｉｇｎ＆Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ，２００４，５１（１）：１０７一ｌ１３． Ｉ责任编辑：娄峰，校对：张云瑞）
