基于统计学习模型的句法分析方法综述

第２７卷第３期　中文信息学报　Ｖｏ１．２７，ＮＯ．３　２０１３年５月　ＪＯＵＲＮＡＬ　ＯＦ　ＣＨＩＮＥＳＥ　ＩＮＦ０ＲＭＡＴＩｏＮ　ＰＲｏＣＥＳＳＩＮＧ　Ｍａｙ。２０１３　文章编号：１００３－００７７（２０１３）０３—０００９—１１　基于统计学习模型的句法分析方法综述　吴伟成　，周俊生　，曲维光　（１．南京师范大学计算机科学与技术学院，江苏南京２１００２３；　２．南京大学计算机软件新技术国家重点实验室，江苏南京２１００２３）　摘　要：句法分析是自然语言处理领域中重要的基础研究问题之一。近年来，基于统计学习模型的句法分析方法　研究受到了广泛关注，多种模型与算法先后被提出。从采用的学习模型和算法类型着手，该文系统地对各种主流　和前沿方法进行了归纳与分类，着重对各类模型和算法的思想进行了分析和对比，并对中文句法分析的研究现状　进行了综述；最后，对句法分析下一步的研究方向与趋势进行了展望。　－　关键词：句法分析；统计学习模型；生成式模型；判别式模型；移进一归约决策；面向数据的句法分析　中图分类号：ＴＰ３９１　文献标识码：Ａ　Ａ　Ｓｕｒｖｅｙ　ｏｆ　Ｓｙｎｔａｃｔｉｃ　Ｐａｒｓｉｎｇ　Ｂａｓｅｄ　ｏｎ　Ｓｔａｔｉｓｔｉｃａｌ　Ｌｅａｒｎｉｎｇ　ＷＵ　Ｗｅｉｃｈｅｎｇ　，ＺＨＯＵ　Ｊ　ｕｎｓｈｅｎｇ　，ＱＵ　Ｗｅｉｇｕａｎｇ　’。　（１．Ｓｃｈｏｏｌ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ，Ｎａｎｊｉｎｇ　Ｎｏｒｍａｌ　Ｕｎｉｖｅｒｓｉｔｙ，Ｎａｎｊｉｎｇ，Ｊｉａｎｇｓｕ　２１００２３，Ｃｈｉｎａ；　２．Ｓｔａｔｅ　Ｋｅｙ　Ｌａｂ．ｆｏｒ　Ｎｏｖｅｌ　Ｓｏｆｔｗａｒｅ　Ｔｅｃｈｎｏｌｏｇｙ，Ｎａｎｊｉｎｇ　Ｕｎｉｖｅｒｓｉｔｙ，Ｎａｎｊｉｎｇ，Ｊｉａｎｇｓｕ　２１００２３，Ｃｈｉｎａ）　Ａｂｓｔｒａｃｔ：Ｓｙｎｔａｃｔｉｃ　ｐａｒｓｉｎｇ　ｉｓ　ｏｎｅ　ｏｆ　ｔｈｅ　ｆｕｎｄａｍｅｎｔａｌ　ｉｓｓｕｅｓ　ｉｎ　ｎａｔｕｒａｌ　ｌａｎｇｕａｇｅ　ｐｒｏｃｅｓｓｉｎｇ．Ｉｎ　ｒｅｃｅｎｔ　ｙｅａｒｓ，ｍｕｃｈ　ｅｆｆｏｒｔ　ｈａｓ　ｂｅｅｎ　ｄｅｖｏｔｅｄ　ｔＯ　ｓｙｎｔａｃｔｉｃ　ｐａｒｓｉｎｇ，ｒｅｓｕｌｔｉｎｇ　ｉｎ　ａ　ｖａｒｉｅｔｙ　ｏｆ　ａｐｐｒｏａｃｈｅｓ　ｂａｓｅｄ　ｏｎ　ｓｔａｔｉｓｔｉｃａｌ　ｌｅａｒｎｉｎｇ．Ｔｈｉｓ　ｐａｐｅｒ　ｓｙｓｔｅｍｉｃａｌｌｙ　ｓｕｍｍａｒｉｚｅｓ　ａｎｄ　ｃｌａｓｓｉｆｉｅｓ　ｖａｒｉｏｕｓ　ａｐｐｒｏａｃｈｅｓ　ｔＯ　ｓｙｎｔａｃｔｉｃ　ｐａｒｓｉｎｇ　ｆｒｏｍ　ｔｈｅ　ｖｉｅｗ　ｏｆ　ｔｈｅ　ｓｔａｔｉｓｔｉｃａｌ　ｌｅａｒｎｉｎｇ　ｍｏｄｅｌｓ　ａｎｄ　ａｌｇｏｒｉｔｈｍｓ，ｆｏｃｕｓｉｎｇ　ｏｎ　ｔｈｅ　ａｎａｌｙｓｉｓ　ａｎｄ　ｃｏｍｐａｒｉｓｏｎ　ｏｆ　ｔｈｅ　ｄｉｆｆｅｒｅｎｔ　ｔｙｐｅｓ　ｏｆ　ｍｏｄｅｌｓ　ａｎｄ　ａｌｇｏ—　ｒｉｔｈｍｓ．Ｔｈｅ　ｃｕｒｒｅｎｔ　ｒｅｓｅａｒｃｈｅｓ　ｏｎ　ｔｈｅ　Ｃｈｉｎｅｓｅ　ｓｙｎｔａｃｔｉｃ　ｐａｒｓｉｎｇ　ａｒｅ　ａｌｓｏ　ｐｒｅｓｅｎｔｅｄ　ｉｎ　ｔｈｉｓ　ｐａｐｅｒ．Ｆｉｎａｌｌｙ　ｗｅ　ｇｉｖｅ　ｔｈｅ　ｆｕｔｕｒｅ　ｄｉｒｅｃｔｉｏｎｓ　ａｎｄ　ｔｒｅｎｄｓ　ｉｎ　ｓｙｎｔａｃｔｉｃ　ｐａｒｓｉｎｇ　ｒｅｓｅａｒｃｈ，ｅｓｐｅｃｉａｌｌｙ　ｆｏｒ　Ｃｈｉｎｅｓｅ　ｓｙｎｔａｃｔｉｃ　ｐａｒｓｉｎｇ．　Ｋｅｙ　ｗｏｒｄｓ：ｓｙｎｔａｃｔｉｃ　ｐａｒｓｉｎｇ；ｓｔａｔｉｓｔｉｃａｌ　ｌｅａｒｎｉｎｇ　ｍｏｄｅｌ；ｇｅｎｅｒａｔｉｖｅ　ｍｏｄｅｌ；ｄｉｓｃｒｉｍｉｎａｔｉｖｅ　ｍｏｄｅｌ；ｓｈｉｆｔ—ｒｅｄｕｃｅ；ｄａｔａ　ｏｒｉｅｎｔｅｄ　ｐａｒｓｉｎｇ　难点：　１　引言　第一为歧义。自然语言区别于人工语言的一个　重要的特点就是它存在大量的歧义现象。人类自身　句法分析是自然语言处理的核心技术，是对语　可以依靠大量的先验知识有效地消除各种歧义，而　言进行深层理解的基石。句法分析的任务是识别出　机器由于在知识表示和获取方面还存在严重不足，　句子所包含的句法成分以及这些成分之间的关系，　很难像人类那样进行句法分析消歧。　一般以句法树来表示句法分析的结果。从２０世纪　第二为搜索空间。句法分析是一个极为复杂的　５０年代初机器翻译课题被提出算起，自然语言处理　任务，候选树个数随句子长度呈指数级增长，搜索空　研究已经有６Ｏ年历史，句法分析一直是阻碍自然语　间巨大。因此，必须设计出合适的解码器，以确保能　言处理前进的巨大障碍。句法分析主要有以下两大　够在可以容忍的时间内搜索到模型定义的最优解或　收稿日期：２０１２—０１－２８定稿日期：２０１２－０４—１８　基金项目：国家自然科学基金资助项目（６１０７３１１９，６１２７２２２１）；江苏省社会科学基金资助项目（１２ＹＹＡ００２）；江苏省自然　科学基金资助项目（ＢＫ２０１０５４７）；南京大学计算机软件新技术国家重点实验室开放基金（ＫＦＫＴ２０１２Ｂ０５）　作者简介：吴伟成（１９８８一），硕士研究生，主要研究方向为统计语言模型，句法分析；周俊生（１９７２一），博士，副教授，主要　研究方向为统计自然语言处理；曲维光（１９６４一），博士，教授，博士生导师，主要研究方向为计算语言学。　１０　中文信息学报　者近似解。　是针对单一模型的局限性所作出的改进，对多个高　精度的句法分析器输出的结果进行合成。目前的合　成方式主要有子树重组合和候选树重排序。　本文首先概要介绍关于句法分析的数据集与评　测方法；然后重点阐述以上五种句法分析模型，着　句法分析方法可以简单地分为基于规则的方法　和基于统计的方法两大类。基于规则的方法在处理　大规模真实文本时，会存在语法规则覆盖度有限、系　统可迁移性差等缺陷。随着大规模标注树库的建　立，基于统计学习模型的句法分析方法开始兴起，句　法分析器的性能不断提高，最典型的就是风靡于２０　世纪７０年代的ＰＣＦＧ（Ｐｒｏｂａｂｉｌｉｓｔｉｃ　Ｃｏｎｔｅｘｔ　Ｆｒｅｅ　重对各类模型和算法思想进行分析和对比；接下来，　对中文句法分析的研究现状进行综述；最后，对句法　分析下一步的研究方向与趋势进行展望，特别针对　Ｇｒａｍｍａｒ，简称ＰＣＦＧ），它在句法分析领域得到了　极大应用。统计句法分析模型本质上是一套面向候　选树的评价方法，给正确的句法树赋予一个较高的　分值，而给不合理的句法树赋予一个较低的分值，这　样就可以借用候选句法树的分值进行消歧。　近些年来，基于统计学习模型的句法分析方法　受到了研究者们的广泛关注而迅速成为研究热点，　多种模型与算法先后被提出。本文依据采用的学习　模型和算法类型，将各种统计句法分析模型归为以　下五类，试图建立起基于统计学习模型的句法分析　方法研究的发展概貌。　（１）基于ＰＣＦＧ的生成式句法分析模型。基于　ＰＣＦＧ的生成式句法分析模型是利用ＰＣＦＧ规则所　提供的概率信息来得到生成式模型所定义的最优　树，解码方式一般采用线图算法。按照ＰＣＦＧ规则　形式，基于ＰＣＦＧ的生成式句法分析模型主要有三　类方法：基于单纯ＰＣＦＧ的句法分析方法、基于词　汇化ＰＣＦＧ的句法分析方法、基于子类划分ＰＣＦＧ　的句法分析方法。　（２）基于丰富特征的判别式句法分析模型。基　于丰富特征的判别式句法分析模型是将机器学习领　域内性能良好的判别式结构化预测方法应用于句法　分析领域，目前主要有基于大间隔（ｍａｘ－ｍａｒｇｉｎ）分　析方法和基于ＣＲＦ的句法分析方法。　（３）基于移进一归约（ｓｈｉｆｔ—ｒｅｄｕｃｅ）决策的句法　分析模型。基于移进一归约决策句法分析模型是从　计算机高级语言的编译原理中推广而来，利用分类　器对移进和归约决策进行判定，句法分析过程一般　采用自底向上、从左到右的方式。　（４）面向数据的句法分析模型（Ｄａｔａ　Ｏｒｉｅｎｔｅｄ　Ｐａｒｓｉｎｇ，简称ＤＯＰ）。ＤＯＰ模型是建立在子树树库　的基础上，通过组合树库中子树来完成句法分析。　目前主要有两类方法：基于ＳＴＳＧ—ＤＯＰ（Ｓｔｏｃｈａｓ—　ｔｉｃ　Ｔｒｅｅ　Ｓｕｂｓｔｉｔｕｔｉｏｎ　Ｇｒａｍｍａｒ，简称ＳＴＳＧ）方法和　基于ＰＣＦＧ—ＤＯＰ方法。　（５）多句法分析器的组合。多句法分析器组合　中文句法分析，给出我们的一些想法。　２句法分析的数据集与评测方法　２．１句法分析的数据集　目前研究者使用最多的树库来自于美国宾夕法　尼亚大学加工的英文宾州树库（Ｐｅｎｎ　ＴｒｅｅＢａｎｋ，简　称ＰＴＢ）ｌ１］。ＰＴＢ前身为ＡＴＩＳ（Ａｉｒ　Ｔｒａｖｅｌ　Ｉｎｆｏｒ—　ｍａｔｉｏｎ　Ｓｙｓｔｅｍ，简称ＡＴＩＳ）和ｗＳＪ（Ｗａｌｌ　Ｓｔｒｅｅｔ　Ｊｏｕｒｎａｌ，简称ｗＳＪ）树库，具有较高的一致性和标注　准确性，是目前研究英文句法分析所公认的标注语　料库。　中文树库建设较晚，比较著名的有中文宾州树　库（Ｃｈｉｎｅｓｅ　ＴｒｅｅＢａｎｋ，简称ＣＴＢ）［２３、清华树库（Ｔｓ—　ｉｎｇｈｕａ　Ｃｈｉｎｅｓｅ　ＴｒｅｅＢａｎｋ，简称ＴｃＴ）Ｌ３］、中国台湾　“中研院”树库（Ｓｉｎｉｃａ　ＴｒｅｅＢａｎｋ）　Ｊ。ＣＴＢ是宾夕　法尼亚大学标注的汉语句法树库，目前绝大多数的　中文句法分析研究均以ＣＴＢ为基准语料库。ＴＣＴ　是清华大学计算机系智能技术与系统国家重点实验　室人员从汉语平衡语料库中提取出１００万汉字规模　的语料文本，经过自动句法分析和人工校对，形成高　质量的标注有完整句法结构的中文句法树库语料。　Ｓｉｎｉｃａ　ＴｒｅｅＢａｎｋ是中国台湾“中研院”词库小组从　中研院平衡语料库（Ｓｉｎｉｃａ　Ｃｏｒｐｕｓ）中抽取句子，经　由电脑自动分析成句法树，并加以人工修改、检验后　所得的成果。　２．２句法分析的评测方法　目前比较主流的句法分析评测方法是ＰＡＲＳＥ－　ＶＡＬ评测体系ｌ＿５］，它是一种粒度比较适中、较为理　想的评价方法，主要指标有准确率（ｐｒｅｃｉｓｉｏｎ）、召回　率（ｒｅｃａｌ１）、交叉括号数（ｃｒｏｓｓｉｎｇ　ｂｒａｃｋｅｔｓ）。　准确率表示分析正确的短语个数在句法分析的　结果中所占的比例，即分析结果中与标准句法树中　的短语相匹配的个数占分析结果中所有短语个数的　３期　吴伟成等：基于统计学习模型的句法分析方法综述　１１　比例。　析方法，实验结果为：召回率２０．６　，准确率　７４．８　。结果并不理想的主要原因在于它所引入的　召回率表示分析得到正确的短语个数在标准分　析树全部短语个数所占的比例。　交叉括号表示分析得到的某一个短语的覆盖范　三个基本假设并不符合实际语言情况，难以解决需　要上下文信息才可以消除的句法歧义。为了突破　围与标准句法分析结果的某个短语的覆盖范围存在　ＰＣＦＧ所做的独立性假设，出现了词汇化ＰＣＦＧ方　重叠又不存在包含关系，即构成了一个交叉括号。　法和子类划分ＰＣＦＧ方法。　除以上定义指标外，Ｆ１值也经常被用来衡量句　法分析器性能。　３．２基于词汇化ＰＣＦＧ的句法分析方法　针对单纯ＰＣＦＧ性能低下问题，文献［６］将每　３基于ＰＣＦＧ的生成式句法分析模型　个短语标记引入词汇信息，词汇化ＰＣＦＧ的实验结　果为：召回率８６．７　，准确率８６．６　。同单纯　基于ＰＣＦＧ的生成式句法分析模型是目前研　ＰＣＦＧ方法相比，召回率和准确率分别提高了　究最为充分、形式最为简单的统计句法分析模型，最　１６．１　和１１．８　。　优树Ｔ　一般采用概率生成式模型计算，如式（１）所　为了解决词汇化ＰＣＦＧ后所带来的数据稀疏　示：　问题，目前比较成功的方法有用类似最大熵方式来　Ｄ，Ｔ　Ｃ、　“一ａｒｇ　ｍａｘ／：＇（Ｔ　Ｊ　ｓ）一ａｒｇ　ｍａｘ　计算规则概率　］和利用马尔可夫过程对规则进行分　』　』　』　，　解＿８］。最大熵优点在于可以考虑更多的特征，而且　：ａｒｇ　ｍａｘＰ（Ｔ，Ｓ）　（１）　Ｔ　可以采用删除插值（ｄｅｌｅｔｅｄ　ｉｎｔｅｒｐｏｌａｔｉｏｎ）平滑方法　联合概率Ｐ（Ｔ，Ｓ）一般是候选句法树Ｔ中所用　来解决数据稀疏问题。受最大熵启发，可以用类似　规则ＬＨＳ￣ＲＨＳ的概率乘积，如式（２）所示：　最大熵的方式来计算规则概率，但该方法计算出来　Ｐ（Ｔ，ｓ）一１－［Ｐ（ＲＨＳ　１　ＬＨＳ　）　（２）　的概率不再严格归一，只能看作是评价句法树可能　ｉ－＝１　本文按照ＰＣＦＧ规则形式，将基于ＰＣＦＧ的生　性的分值。该方法的实验结果为：召回率８９．６　，　成式句法分析模型分为三类方法：基于单纯ＰＣＦＧ　准确率８９．５　。中心词驱动模型（ｈｅａｄ—ｄｒｉｖｅｎ　的句法分析方法　］、基于词汇化ＰＣＦＧ的句法分析　ｍｏｄｅ１）将每一条规则看作一个马尔可夫过程，即首　方法　。　、基于子类划分ＰＣＦＧ的句法分析方　先由父节点生成中心子节点，然后自右向左依次生　法［１　。基于单纯ＰＣＦＧ的句法分析方法在计算　成中心子节点左边节点，最后自左向右依次生成中　树的概率时引人三个基本假设：位置不变性（ｐｌａｃｅ　心子节点右部节点。利用马尔可夫过程对规则进行　ｉｎｖａｒｉａｎｃｅ）假设、上下文无关性（ｃｏｎｔｅｘｔ—ｆｒｅｅ）假　分解后，极大缓解了数据稀疏问题，该方法的实验结　设、祖先节点无关性（ａｎｃｅｓｔｏｒ～ｆｒｅｅ）假设，它的规　果为：召回率８８．１　，准确率８８．３　９／６。　则形式最为简单。基于词汇化ＰＣＦＧ的句法分析　为了进一步提高词汇化ＰＣＦＧ句法分析器的　方法和基于子类划分ＰｃＦＧ的句法分析方法，是对　性能，可以将重排序（ｒｅｒａｎｋｉｎｇ）方法引入到句法分　单纯ＰＣＦＧ方法的改进，主要表现在对单纯ＰＣＦＧ　析中，但该方法需要一个高精度的基准句法分析器　所做的三个独立性假设进行突破。基于词汇化　（ｂａｓｅｌｉｎｅ　ｐａｒｓｅｒ），比较典型的是Ｃｏｌｌｉｎｓ（１９９９）ｌ８　中　ＰＣＦＧ的句法分析方法将短语标记与其某个单词　的模型２和Ｃｈａｒｎｉａｋ（２Ｏ０Ｏ）［　。Ｃｏｌｌｉｎｓ（１９９９）中的　（一般为它的中心词）相关联，引入词汇信息进行消　模型２采用基于Ｂｏｏｓｔｉｎｇ方法　重排序后的结果　歧。基于子类划分ＰＣＦＧ的句法分析方法引入上　为：召回率８９．６　，准确率８９．９％，采用树核方法重　下文信息对短语标记进行细分，具体做法有利用语　排序后的结果为：召回率８８．６　，准确率８８．９　，虽　言学知识自定义规则来细分短语标记［１２－１３］和利用　然结果略低于前者，但算法效率得到了提高口　。　机器学习算法自动对短语标记进行划分［１　］。若　Ｃｈａｒｎｉａｋ（２０００）采用最大熵方法口　重排序后的Ｆ１　无特殊说明，以下报告的结果均来自于如下实验设　值为９１．０　。　置：训练集ｗＳＪ　Ｏ２—２１；测试集ｗＳＪ　２３。　３．３基于子类划分ＰＣＦＧ的句法分析方法　３．１基于单纯ＰＣＦＧ的句法分析方法　与单纯ＰＣＦＧ方法相比，词汇化ＰＣＦＧ方法取　文献［６］实现了一种基于单纯ＰＣＦＧ的句法分　得了一定的成功，但同时也产生了非常严重的三大　１２　中文信息学报　问题：规则数量急剧上升、数据稀疏问题严重、解析　算法复杂度增加。于是，人们不禁要问：研究者有　没有高估词汇信息在句法分析的作用，非词汇化　ＰＣＦＧ方法是否还有提高的潜能？文献［１２］研究了　句法树表示方法与ＰＣＦＧ性能之间的关系，在理论　和实践上说明了基于ＰＣＦＧ的句法分析器的性能　会随着句法树表示方法的不同而急剧变化。通过为　句法树中的每个结点引入其父节点短语标记，句法　分析的Ｆ１值就可以提高８个百分点。该实验结果　表明：树库中的短语标记粒度过粗，区分度不够，缺　少用于消歧的上下文信息。　根据短语在句法树中的上下文信息，可以自定　义规则对短语标记进行细分，所利用的上下文信息　一般包括父节点和兄弟节点短语标记等。文献Ｅｌ３］　在整个实验中，除词性标注外，未使用任何词汇信　息，实验结果为：召回率８５．１　，准确率８６．３　。　虽然性能劣于词汇化ＰＣＦＧ方法，但该方法非常简　单、容易理解、易于实现。因此，文献［１３］获得了　２００３年ＡＣＬ大会的最佳论文奖。　利用ＥＭ算法可以自动对短语标记进行划　分［１　。　。它首先为原始规则Ａ－－￣ＢＣ中短语标记分　别标注一个整数类别，２７、Ｙ、　，然后在Ｅ步，计算标注　规则的期望次数，如式（３）所示：　Ｐ（（ｒ，Ｓ，ｔ，Ａ　一Ｂ　Ｃ　）ｌ砌，Ｔ）　一Ｐ　（ｒ，ｔ，Ａ　）×　ｐ（ａ　—　Ｂ　Ｃ　）Ｐｋ（ｒ，　，Ｂ　）Ｐｋ（ｓ，ｔ，Ｃ１ｚ）（３）　其中，Ｐ　和Ｐ　分别为内部概率和外部概率；　ｒ、５和ｔ为规则的跨度（ｓｐａｎ）；　在Ｍ步，通过以上得到的期望次数去更新规则　概率，如式（４）所示：　枷　㈤　可以每次将短语标记划分为两个子类，然后合　并区分不大的划分。该方法实验中使用子类划分后　的树库语料，实验结果为：召回率８９．９　，准确率　９Ｏ．２　４基于丰富特征的判别式句法分析模型　随着机器学习领域的蓬勃发展，多种结构化学　习模型先后被提出。判别式的结构化学习模型具有　可以融合大量有效特征，且能避免在生成式学习模　型中需引入的独立性假设等优点，在实际应用中一　般比生成式方法性能要好。基于丰富特征的判别式　句法分析模型是将机器学习领域内的判别式结构化　学习模型应用于句法分析领域，并借用丰富特征来　消解句法分析过程中所产生的歧义。目前主要有基　于大间隔的句法分析方法［】　和基于ＣＲＦ的句法分　析方法　¨］。　４．１基于大间隔的句法分析方法　大间隔马尔可夫网络（Ｍａｘ－Ｍａｒｇｉｎ　Ｍａｒｋｏｖ　Ｎｅｔｗｏｒｋｓ，简称Ｍ。Ｎ）融合了ＳＶＭ的大间隔理论　与概率图模型处理结构关系的能力［１８］，可以解决复　杂的结构化预测问题，因此可以将它应用到句法分　析上［¨］。　判别函数采用如下形式：　（　）＝ａｒｇ　１ＴＩａＸ　∈Ｇ（　）＜Ｗ，　（ｚ，　）＞（５）　其中，西（．ｚ，　）代表与ｚ相对应的句法树Ｙ的特　征向量；叫代表特征权重；　间隔定义为样本＜　，Ｙ　＞与输出Ｙ在权值Ｗ　上的差值。如式（６）所示：　＜Ｗ，　（－ｚ　，　）＞～＜Ｗ，　（Ｉｚ　，　）＞　一＜Ｗ，　＊一　，＞　（６）　然后最小化权重训：　ｍｉｎ百１　Ｗ　ｌｌ。＋ｃ∑　Ｓ．ｔ．（　，　（ｚ　，ｙ１），　（ｚ　，　）＞≥Ｌ　一ｅ　Ｖ　Ｙ∈Ｇ（ｘｉ）　（７）　其中Ｌ　为损失函数，　为松弛变量。　以上优化问题的对偶形式为：　ｍａ　￣ｉ，ｙＬｉ，ｙ－－剖Ｃ　．厂　ｌ　ｉ㈤　ｓ．ｔ．∑　，一１，Ｖ　ｉ；ａ　≥０，Ｖ　ｉ，　其中工　一Ｉ（ｘ　，ｙ　，　），指示ｙ与ｙ　是否相同；　主问题的解Ｗ　就是正确和错误句法树特征向量的　线性组合，如式（９）所示：　Ｗ　一ｃ∑（Ｊ的一ａｉ　，ｙ）　，，　（９）　其中ａ　是对偶问题的解。　由于主公式和对偶公式中的变量个数随句子长　度呈指数级增长，因此该文对模型进行了分解，将参　数数目降为多项式级，最终用类似ＳＭＯ的方式进　行参数学习。该模型在ＷＳＪ１５（长度小于等于１５　的句子）上的实验结果为：召回率８９．１　，准确率　８９．１　。　针对Ｍ。Ｎ模型训练速度问题，可以采用多个　３期　吴伟成等：基于统计学习模型的句法分析方法综述　１３　独立而且可以并行训练的二元分类器来代替它，每　个二元分类器用于识别一个短语标记，句法分析任　务就是通过组合这些分类器来完成，因此分类器的　训练速度可以得到很大提高［１　。该方法在　ｗＳＪ１５上的实验结果为：召回率８９．２％，准确率　８９．６　。　４．２基于ＣＲＦ的句法分析方法　与基于ＰＣＦＧ的生成式模型相比，采用ＣＲＦ模　型进行句法分析，主要不同点在于产生式的概率计　算方法和概率归一化的方式¨】　。该模型最大化句　法树的条件概率值而不是联合概率值，并且对概率　进行全局归一化。　候选句法树的概率估算形式如式（１０）：　Ｐ（ｔ　）一　Ⅱ　（ｒ　）　（１ｏ）　其中，Ｚ　一∑Ⅱ９（ｒ　Ｉ　ｓ；　），ｒ（ｓ）代表句子　的所有候选句法树；这里，，不仅仅包含一条规则，　而且还包含规则的上下文信息，例如跨度（ｓｐａｎ）和　分割点（ｓｐｌｉｔ　ｐｏｓｉｔｉｏｎ）。　团势函数（ｃｌｉｑｕｅ　ｐｏｔｅｎｔｉａｌｓ）采用的是指数　形式：　（ｒ　）一ｅｘｐ∑Ｏ，ｆ　（　）　（¨）　训练数据的ｌｏｇ似然值为：　Ｌ（　）＝　（ｆ，ｓ）∈　Ｄ（、　∑　ｒＥｔ　）１／　一　）＋∑　ｉ　ｕ　（１２）　以上ｌｏｇ似然值对０　求偏导数就是特征的经验　期望与模型期望之间的差值：　ＯＬ一（　。（　厂　，ｓ　）一　Ｉ　ｓ］）＋　（１３）　其中，Ｚ　和偏导数券可以使用内向一外向　（ｉｎｓｉｄｅ—ｏｕｔｓｉｄｅ）算法高效得到。　该模型在ＷＳＪ１５实验结果为：召回率９０．４　准确率为９１．４％，在整个测试集上实验结果为：召　回率８７．８　，准确率８８．２％。　５基于移进一归约决策的句法分析模型　基于移进一归约决策句法分析模型是用一个寄　存符号的先进后出的栈Ｓ，把存在队列Ｑ里面的输　入符号一个一个地移进到栈里，当栈顶形成某个规　则的一个候选式时，就把栈顶的这一部分归约为该　规则的左部符号。决策判定，即执行移进还是归约　动作，是由分类器根据当前句法分析状态（Ｓ和Ｑ　的内容）给出。由此可见，移进一归约决策句法分析　采用了自底向上、从左到右的分析过程。该方法的　句法分析时间复杂度为Ｏ（ｎ），其中ｎ是句子　长度　¨。　早期移进一归约决策的句法分析器中采用　ｒｉｇｈｔ、ｌｅｆｔ、ｕｐ、ｕｎａｒｙ、ｒｏｏｔ五类决策类别［２　。　。　ｒｉｇｈｔ　ｕｐ　ｌｅｆｔ分别表示新节点的起始节点、中间节　点、末节点，即ｒｉｇｈｔ　ｕｐ　ｌｅｆｔ表示可以归为一个新的　短语，ｕｎａｒｙ表示要进行一元归约，ｒｏｏｔ表示句法分　析任务结束。早期主要有采用决策树和最大熵对以　上类别进行分类。决策树所用到的特征包括了词的　类别，这些类别需要用聚类方法得到，花费的计算代　价很高，解码过程分两阶段完成，虽然引入剪枝策　略，与蛮力法相比，相对高效地得到了模型定义的最　优解，但是对于某些句子，解码器的搜索空间仍然巨　大［２引。最大熵分类器只用到了词本身信息，与决策　树相比，模型训练的代价较小，解码方式采用了　，ＢｅａｍＳｅａｒｃｈ方法，虽然有可能得不到模型所定义的　最优解，但算法的执行效率得到了提高。决策树的　实验结果为：召回率８４．０　，准确率８４．３　。最大　熵的实验结果为：召回率８６．３　，准确率８７．５　。　最近比较流行的移进一归约句法分析器将决策　类别分为四大类口　：ＳＨＩＦＴ、ＲＥＤＵＣＥ—ｕｎａｒｙ—Ｘ、　ＲＥＤＵＣＥ—ｂｉｎａｒｙ一｛Ｌ／Ｒ）＿Ｘ、ＴＥＲＭＩＮＡＴＥ。ＳＨＩＦＴ　表示从队列Ｑ中移出一个词语到栈ｓ中；ＲＥＤＵＣＥ－　ｕｎａｒｙ－Ｘ表示将要进行一元归约，新生成节点Ｘ；　ＲＥＤＵＣＥ—ｂｉｎａｒｙ｛Ｌ／Ｒ）＿Ｘ表示进行二元归约，新生　成节点Ｘ，Ｌ和Ｒ表示Ｘ的中心词来自于左孩子节　点还是右孩子节点。ＴＥＲＭＩＮＡＴＥ表示句法分析　任务结束。要训练得到基于以上四类决策的句法分　析器，需要对树库进行二元转换（ｂｉｎａｒｉｚａｔｉｏｎ　ｔｒａｎｓ—　ｆｏｒｍ），Ｘ表示二元转换过后的短语标记。虽然决策　类别很多，但是分类器的分类性能很高（我们再现了　文献［４８中的结果，决策类别达到７６个，但是分类　精度高达９４．７　）。目前主要基于ｓＶＭ和感知器　的移进一归约句法分析器，ＳＶＭ句法分析结果为：　召回率８７．６　，准确率８７．５　９／６，虽然结果略低于词　汇化ＰＣＦＧ模型，但句法分析速度得到了很大的提　高ｌ＿２　。感知器方法从全局角度对决策进行了考量，　在ＣＴＢ上取得了非常好的结果　。　１４　中文信息学报　基于移进一归约决策的句法分析模型应用于中　文时对词性非常敏感，文献［２４］显示：基于正确词　性标注与基于自动词性标注（标注精度为９３．５　９，６）　的句法分析实验的Ｆ１值相差高达９．４个百分点，　主要原因是中文词性标注精度不高和该方法需要考　虑大量的词性作为特征。　６面向数据的句法分析模型　ＤＯＰ模型是建立在包含大量语言现象的树库　基础上，通过组合数库中的子树来实现句法分析任　务。与基于ＰＣＦＧ的句法分析模型相比，可以将　ＤＯＰ模型中的子树看作文法，ＰＣＦＧ规则是ＤＯＰ　模型文法特殊形式，即子树的高度为１。　本节首先介绍最优树的定义准则，然后介绍两　种主流的利用ＤＯＰ模型进行句法分析的方法：　ＳＴＳＧ—ＤＯＰ方法［２５－２７　和ＰＣＦＧ—Ｄ０Ｐ方法［２８　３１］。　ＳＴＳＧ—ＤＯＰ方法将ＤＯＰ思想归结为子树替换过　程，而ＰＣＦＧ—ＤＯＰ方法将ＳＴＳＧ—ＤＯＰ中的子树文　法转化为ＰＣＦＧ形式，减少了文法的数量，提高了　句法分析的速度。　６．１最优树的定义准则　ＤＯＰ模型一个重要特征就是可能有多个有效　推导ｄ对应于同一棵候选树Ｔ，这就涉及到模型所　定义的最优树Ｔ　准则问题。就目前ＤＯＰ模型的　研究，主要有以下六种准则：　第一个准则为最有可能推导（ｔｈｅ　Ｍｏｓｔ　Ｐｒｏｂａ—　ｂｌｅ　Ｄｅｒｉｖａｔｉｏｎ，简称ＭＰＤ）。ＭＰＤ是在所有可能的　有效推导中，找出概率最大的一个有效推导，如式　（１４）所示：　一ａｒｇ　ｍａｘ【ｄＥｕ‘１　Ｓ）　Ｊ　Ｐ（　）　（１４）　第二个准则为最有可能分析（ｔｈｅ　Ｍｏｓｔ　Ｐｒｏｂａ－　ｂｌｅ　Ｐａｒｓｅ，简称ＭＰＰ）。在ＭＰＰ中，句法树Ｔ的概　率是与Ｔ对应的所有可能推导ｄ　的概率累加和，　如式（１５）所示：　一ａｒｇ　丁∈了、（ｓ）　一一∑ⅡＰ（　　）　（１５）　计算ＭＰＰ是ＮＰ—ｈａｒｄ问题［３　，一般采用近似　搜索算法，例如Ｖｉｔｅｒｂｉ—ｎ—ｂｅｓｔ方法　。　第三个准则为最大成分分析（ｔｈｅ　Ｍａｘｉｍｕｍ　Ｃｏｎｓｔｉｔｕｅｎｔｓ　Ｐａｒｓｅ，简称ＭＣＰ）。ＭＣＰ考虑了每一　个短语ｅ　正确的可能性，挑出具有最大成分的候选　树Ｔ，如式（１６）所示：　一ａｒｇ　ｍａｘ　Ｐ（ｃＴ）　（１６）　　。ＭＣＰ是对ＭＰＰ的近似，可以采用动态规划算　法高效地计算ＭＣＰＥ　］。　第四个准则为最大规则和（ｔｈｅ　Ｍａｘ　Ｒｕｌｅ　Ｓｕｍ，　简称ＭＲＳ）。ＭＲＳ是由ＭＣＰ推广而来，候选树Ｔ　的概率是Ｔ中所有规则ｒ　的后验概率累加和，如式　（１７）所示：　—ａｒｇ　ｍａ　ｘ　Ｐ（ｒＴ）　（１７）　１　儿　Ｊ　第五个准则为最大规则积（ｔｈｅ　Ｍａｘ　Ｒｕｌｅ　Ｐｒｏ—　ｄｕｃｔｉｏｎ，简称ＭＲＰ）。ＭＲＰ与ＭＲＳ类似，将ＭＲＳ　中的累加符号改为累乘符号，如式（１８）所示：　—ａｒｇ　ｍ１　ａｘ　…儿　Ｊ　ＩＩ　Ｐ（ｒＴ）　（１８）　ＭＲＰ的性能一般要优于ＭＲＳＥ¨］。　第六个准则为最短推导（Ｓｈｏｒｔｅｓｔ　Ｄｅｒｉｖａｔｉｏｎ，　简称ＳＤ）。以上五种准则是基于概率，而ＳＤ是基　于推导的长度，选取具有最短长度的推导，如式（１９）　所示：　：ａｒｇ　ｍｉｎ　１　ｄ　　ｌ（１９）　从子树的大小来说，ＳＤ是比较倾向于大子树。　最短推导可能有多个，一般要对最短推导进行排序　处理［∞］。　６．２基于ＳＴＳＧ－ＤＯＰ方法　ＳＴＳＧ—ＤＯＰＬ２　。　通过组合树库中的子树来完　成句法分析。其中，最基本的操作是替换（ｓｕｂｓｔｉｔｕ—　ｔｉｏｎ），句法树概率是通过计算子树的频度得到。　ＳＴＳＧ—ＤＯＰ方法在ＡＴＩＳ树库上取得了成功，　但是为了计算ＭＰＰ，采用Ｍｏｎｔｅ　Ｃａｒｌｏ采样算　法Ｌ２　，由于该算法的随机性和缺少应用该算法的进　一步细节，有些研究者并不承认该方法在ＡＴＩＳ树　库上的结果＿＿２引。但随着各种近似搜索算法和最优　树准则的出现，Ｂｏｄ等人摒弃了Ｍｏｎｔｅ　Ｃａｒｌｏ算法，　出现了结果可再现的高性能句法分析器［２　”］，使　得越来越多的研究者开始关注ＤＯＰ模型。　由于ＳＴＳＧ子树的数量非常大，而且极其冗　余，从理论和计算的角度，都需要对数库中的子树进　行限制。这自然会产生一个想法：是否可以减少子　树数量同时又可以提高句法分析器的性能？文献　１－２７￣针对该问题在ＷＳＪ树库上进行了研究，分别考　察了子树大小、词汇化上下文、结构上下文、非中心　词依赖，在ＷＳＪ４０（长度小于等于４０的句子）上的　实验表明：对子树进行限制确实能够提高句法分析　３期　吴伟成等：基于统计学习模型的句法分析方法综述　１５　的性能。该文最后将ｗｓＪ４ｏ取得最好性能的子树　选取方法应用在标准测试集上，实验结果为：召回　率８９．７％，准确率８９．７　，结果略高于之前词汇化　模型Ｃｈａｒｎｉａｋ（２ＯＯＯ）　，与当时的Ｃｏｌｌｉｎｓ（２０００）Ｌ。］　的结果相当。　６．３　基于ＰＣＦ　ＤｏＰ方法　ＰＣＦＧ—ＤＯＰ方法Ｌ２。　将子树中的每一个外部节　点（ｅｘｔｅｒｉｏｒ　ｎｏｎ—ｔｅｒｍｉｎａ１）对应于８种ＰＣＦＧ规则，　使得文法数量随树库大小呈线性增长，与ＳＴＳＧ—　ＤＯＰ相比，文法数量急剧下降。　ＰＣＦＧ—ＤＯＰ方法在文献Ｅｘ７３子树选取的基础　上的实验结果为：召回率８９．５　９／６，准确率８９．７　９／６，　虽然召回率略低于文献［－２７］（相差ｏ．２　），但句法　分析的速度提高了６Ｏ倍［２　。结合ｓＤ和ＭＰＰ准则　可以形成两种ＤＯＰ模型＿２　：ＬＳ—ＤＯＰ和ＳＬ—ＤＯＰ，　ＳＬ—ＤＯＰ是从Ｎ种概率值最高的候选树中，选出推　导长度最短的句法树，ＬＳ—ＤＯＰ是从Ｎ种推导最短　的候选句法树中，选出概率值最高的句法树。ＳＬ—　ＤＯＰ实验结果为：召回率９Ｏ．７　，准确率９Ｏ．８　，　ＬＳ－ＤＯＰ实验结果为：召回率８９．４％，准确率　８９．７　。　为了能够高效地利用ＤＯＰ模型进行句法分析，　可以对子树树库规模和文法形式进行改进：规定树　库中的子树数量必须大于等于２（可以利用树核算　法高效地抽取所有满足条件的子树　），将子树的　根节点和叶节点分别映射为ＰＣＦＧ规则的左部和　右部，文献Ｅ３１３的Ｔ　准则采用ＭＲＳ，实验的Ｆ１值　为８９．１　。　由于ＰＣＦＧ—ＤＯＰ方法的文法数量相对较少，可　以利用树库中的所有子树进行句法分析，文献［－３０］　的Ｔ　准则采用ＭＲＰ，实验的Ｆ１值为８８．１　，虽　然结果低于子树选取后的结果，但是并没有付出昂　贵的代价进行子树选取也没有引人词汇信息。　７多句法分析器的组合　以上介绍的几种句法分析模型有个共同的缺　点：最佳句法树Ｔ　都是基于单一模型定义的，得　到的最优解并不一定最接近实际情况。近些年来，　针对单一模型的局限性，另一个研究重点放在多个　句法分析器组合上。这种方法是利用多个高精度的　基准句法分析器（ｂａｓｅｌｉｎｅ　ｐａｒｓｅｒ）输出多个高概率　值结果，并结合丰富句法结构特征对它们进行合成　处理。目前合成方式主要有子树重组合口　。　和候　选树重排序［３　。子树重组合是对候选树中的子树　进行重组，形成一个新的最优的句法树。候选树重　排序是对候选树分值进行重新估算，选出分值最高　的候选树作为最后的分析结果。　子树重组合主要有投票方法和权重相加法。投　票法就是首先统计各子树在候选树上的频度，然后　选择频度最多的子树来组合成一棵新的句法树，该　方法得到的结果偏向于准确率口引。权重相加法就　是利用ＣＫＹ算法将跨度相同短语标记间的成分权　值相加，最后得到能够覆盖整个句子的概率值最大　的句法树，该方法得到的实验结果偏向于召回率，为　了调和准确率和召回率，一般要引入阈值对候选子　树进行剪枝ｌ＿３　。文献Ｅ３５］采用投票方法，在实验中　采用三个高精度的基准句法分析器，最优性能为：　召回率８８．５　，准确率８８．７　，进行子树重组合后，　实验结果为：召回率８９．２　，准确率９２．１　。文献　［３６］采用权重相加法，在实验中采用五个高精度的　句法分析器，最优性能为：召回率９０．６　，准确率　９１．３　，子树重组合后实验结果为：召回率９１．０％，　准确率９３．２　。　子树重组合的优点在于利用到了多个高精度的　基准句法分析器，但存在两个不足点：第一，每一个　句法分析器只输出一个结果；第二，没有利用到候选　句法树的起始概率值，虽然不同句法分析器输出的　候选树的概率值不可比较。候选树重排序方法继承　了子树重组合的优点，并针对其缺点进行了改进，即　让每个基准句法分析器都输出多个最优结果，并且　将句法树的起始概率值作为主要特征。文献Ｅ３７］进　行了候选树重排序，基准句法分析器采用Ｃｈａｒｎｉａｋ　（２０００）【７］和Ｐｅｔｒｏｖ（２００７）｜１　，并且让这两个句法分　析器分别输出最优的５０个结果，实验的Ｆ１值为　９２．６　。　为了便于比较分析，表１列出了各种句法分析　方法在英文宾州树库上的句法分析性能。　表１句法分析器性能比较　性能　句法　（训练集ＷｓＪ　Ｏ２—２１；　分析　句法分析器　测试集ＷｓＪ　２３）　方法　召回率　准确率　Ｆ１　／％　／％　／％　单纯　Ｃｈａｒｎｉａｋ（１９９７）［　］　７０．６　７４．８　７２．６　ＰＣＦＧ方法　１６　中文信息学报　续表　性能　句法　（训练集ＷＳＪ　Ｏ２—２１；　分析　句法分析器　测试集ｗＳＪ　２３）　方法　召回率　准确率　Ｆ１　／　／　／　Ｃｈａｒｎｉａｋ（２ＯＯＯ）［　］　８９．６　８９．５　８９。５　Ｃｏｌｌｉｎｓ（１９９９）［　］　８８．１　８８．３　８８．２　词汇化　Ｃｏｌｌｉｎｓ（２０００）［。］　８９．６　８９．９　８９．７　ＰＣＦＧ方法　Ｃｏ１１ｉｎｓ（２ＯＯ２）［　。］　８８．６　８８．９　８８．７　Ｃｈａｒｎｉａｋ（２ＯＯ５）［　］　９１．Ｏ　Ｋｌｅｉｎ（２００３）［】３］　８５．１　８６．３　８５．７　子类划分　Ｐｅｔｒｏｖ（２００６）［　］　８９．６　８９．８　８９．７　ＰＣＦＧ方法　Ｐｅｔｒｏｖ（２Ｏ０７）［　ｓ］　８９．９　９Ｏ．２　９０．０　Ｔａｓｋａｒ（２００４）［１６］　大间隔方法　Ｔｕｒｉａｎ（２０ｏ５）Ｅ１９］　Ｔｕｒｉａｎ（２００６）［２０］　条件随机场　Ｆｉｎｋｅｌ（２００８）［　７］　８７．８　８８．２　８８．０　方法　Ｍａｇｅｒｍａｎ（１９９５）［　］　８４．０　８４．３　８４．１　移进～归约　Ｒａｔｎａｐａｒｋｈｉ（１９９９）［　］　８６．３　８７．５　８６．９　方法　Ｓａｇａｅ（２００５）［　。］　８７．６　８７．５　８７．５　Ｚｈａｎｇ（２ＯｌＤ［。　］　ＳＴＳＧ—Ｄ０Ｐ　Ｂｏｄ（２００１、［　］　８９．７　８９．７　８９．７　方法　Ｂｏｄ（２００３）Ｅ２９￣　８９．５　８９．７　８９．６　ＰＣＦＧ—ＤｏＰ　Ｂａｎｓａｌ（２０１０）［。。］　８８．１　方法　Ｓａｎｇａｔｉ（２０１１）［。　］　８９．１　Ｈｅｎｄｅｒｓｏｎ（１９９９）［。　］　８９．２　９２．１　９０．６　多句法分析　Ｓａｇａｅ（２００６）［。　］　９１．Ｏ　９３．２　９２．１　器组合　Ｚｈａｎｇ（２００９）［　］　９２．６　８　中文句法分析的研究现状　与英文句法分析相比，中文句法分析的研究相　对较晚。按照上文的分类方法，以下将简单综述中　文句法分析的研究现状。若无特殊说明，以下报告　的结果均来自于如下实验设置：训练集ＣＴＢ　００１—　２７０；测试集ＣＴＢ　２７１—３００（基于正确分词且句子长　度小于等于４０）。　在单纯ＰＣＦＧ方法方面，文献［３８］利用内向一　外向算法，从已有小规模中文宾州树库中提取规则，　利用大规模已做好分词标注的语料库对规则进行训　练，并针对汉语的特点（特别是汉语虚词的特点），引　入句法结构共现的概念来减弱ＰＣＦＧ的独立性假　设。实验结果表明，引入句法结构共现概率能够提　高句法分析器的准确率和召回率。　在词汇化ＰＣＦＧ方面，文献［３９］将Ｃｏｌｌｉｎｓ的中　心词驱动模型应用于中文，实验结果为：召回率　７８．０　９／６，准确率８１．２　。文献［４０］在中心词驱动模　型的基础上，提出了基于语义的模型，并且对基本名　词做了特殊处理，实验结果为：召回率７８．７　，准确　率８０．１　（训练集：ｃＴＢ　０２６—２７０）。文献［４１］提出　了一个两级的中文句法分析方法，基本短语和复杂　短语分别被词汇化的马尔可夫模型和中心驱动模型　所识别，实验语料采用哈尔滨丁业大学树库，单一模　型（中心驱动模型）实验结果为：召回率８６．４％，准　确率８６．３　；两级的句法分析模型实验结果为：召　回率８８．０　，准确率８７．５　。　在子类划分ＰＣＦＧ方面，文献［４２］自定义规则　对短语标记进行划分，引入短语标记的上下文信息，　提出了结构上下文相关的概率句法分析模型。实验　结果表明，引入结构的上下文信息确实能够提高句　法分析的性能。文献［１５］将自动划分短语标记的方　法应用于中文，实验结果为：召回率８５．７　９／５，准确率　８６．９　（训练集：ＣＴＢ　Ｏ０１—２７０，４００—１１５１）。　在移进一归约决策句法分析方面，文献［４３］将　移进一归约决策句法分析模型应用于中文，实现了　一个高速、准确的确定性中文句法分析器，采用　ＳＶＭ分类器的实验结果为：召回率７８．１　，准确率　８１．１　。文献［２４］利用全局线性模型对决策类别进　行了预测，实验结果为：召回率８０．２　，准确率　８Ｏ．５　；文献［４４］对移进一归约决策方法进行了扩　展，实现了层次式句法分析模型。该方法将句法树　的构建转换为层次标注问题，分类器采用最大熵，实　验结果为：召回率７６．５　，准确率８Ｏ．０　。文献　［４５］又将层次式句法分析模型与语义角色标注进行　了联合学习，缓解了语义分析对句法分析结果的依　赖，同时又提高了两者的性能。　在多句法分析器组合方面，文献［３７］以Ｃｈａｒ—　ｎｉａｋ（２０００）＿７　和Ｐｅｔｒｏｖ（２００７）ｌ１　句法分析器各产　生的５Ｏ—ｂｅｓｔ候选树作为输入，系统合成后，在整个　测试集上实验的Ｆ１值为８５．５　９／６（训练集：ＣＴＢ　Ｏ０１—２７０，４００—１１５１）　３期　吴伟成等：基于统计学习模型的句法分析方法综述　１７　文，相信可以取得性能的提高。基于上述分析，我们　９总结与展望　近十几年来，英文句法分析有了长足的发展，而　且已日趋成熟。它的研究趋势主要基于以下两点：　第一点就是基于树库的文法受到了研究者的青　提出一些关于改善中文句法分析的几点思路。　（１）近些年，依存句法分析成为研究热点，依存　树反应了词汇间的依存关系，属于语义范畴，提供了　比单纯词汇更为丰富的信息，因此更加有利于消歧。　文献［４６］利用依存结构来辅助句法分析，采用单纯　ＰＣＦＧ实验结果就与词汇化ＰＣＦＧ性能相当，充分　睐。与早期的方法相比，现在的句法分析方法更强　调从真实的树库中获取文法知识，例如词汇化　说明了语义信息对句法分析的作用。受该文启发，　ＰＣＦＧ方法、面向数据的句法分析方法，使得训练出　来的模型更加符合实际情况，因而促进了句法分析　性能的提高。　第二点就是统计学习理论在句法分析领域扮演　越来越重要的作用。随着各种统计学习算法的提　出，研究者开始将各种可以集成丰富上下文特征的　判别式学习模型引入到句法分析领域，例如：应用　结构化学习模型ＣＲＦ和大间隔方法实现句法分析，　针对传统生成式模型的不足实现了理论上的改进。　同时也可以看出，这两个因素也引发了一些问　题。词汇化ＰＣＦＧ方法带来了非常严重的三大问　题，造成训练和测试时需要巨大的时空开销。　ＳＴＳＧ—ＤＯＰ方法子树数量巨大，虽然出现了ＰＣＦＧ—　ＤＯＰ方法，减少了文法数量，但是仍然非常冗余，因　此，子树的选取也是ＤＯＰ模型非常值得研究的课　题。与传统的生成式模型相比，大间隔方法和ＣＲＦ　方法等判别式学习模型的消歧能力更强，但模型的　复杂度也更高，例如Ｍ。Ｎ模型在ｗＳＪ１５上训练就　需要几个月时间ｌ】　。因此，在应用一些有效的判别　式学习模型实现句法分析任务时，如何利用句法树　结构的特性设计和实现更有效地学习和训练算法也　将会是下一步研究的热点。　值得一提的是，子类划分ＰＣＦＧ方法和移进一　归约方法另辟蹊径，取得了比较好的性能。子类划　分ＰＣＦＧ方法较好地克服了词汇化ＰＣＦＧ的固有　缺点，而且是当今精度最高的单一句法分析模型之　一。另外，基于移进一归约决策的句法分析模型将　传统的利用线图算法进行句法分析的过程转化为一　系列基于分类器的移进和归约决策分类过程，而决　策分类可以采用决策树、最大熵、ＳＶＭ等性能良好　的分类器。该句法分析模型具有很强的灵活性和可　扩充性。而且该模型应用于中文时取得了较好的性　能，且具有句法分析速度快等优点。　中文句法分析相对于英文句法分析还有很长的　路要走，但可以借鉴英文句法分析，譬如将大间隔和　ＣＲＦ等判别式学习模型，以及ＤＯＰ方法应用于中　可以利用依存结构来辅助其他句法分析模型，也可　以将句法分析与后续语义分析任务进行联合学习，　以缓解句法分析对语义信息的严重依赖。　（２）文献［４３］在句法分析过程中孤立地在每个　步骤应用分类器进行移进和归约决策，而没有考虑　每个移进一归约决策的全局效果。文献［２４］虽然对　文献［４３－］的方法进行一些改进，但使用的解码算法　只是一个近似搜索算法，并不能在迭代过程中搜索　出全局最优的移进和归约决策序列，且感知器并不　是一个具有良好泛化性能的学习器，因而，该方法在　理论上并没有很强的、自然的保证。近来，文献［４７］　提出了一种新的基于搜索的结构化预测学习算法　ＳＥＡＲＮ，将复杂的结构化预测问题转换为简单的代　价敏感分类问题，且在理论上对该算法的有效性进　行了分析和证明。因此，可以考虑将ＳＥＡＲＮ算法　应用到基于移进一归约决策的句法分析模型上，相　信能够实现一个性能良好的中文句法分析器。　（３）由于汉语缺乏形态变化，目前主流的中文　句法分析所用的词类标记和短语标记并不能反映其　语法功能，而且相同条件下中英文句法分析的结果　相差较大ｌ＿４　，因此，有必要进一步研究适合中文自　身特点的句法分析器。陈小荷教授提出了彻底按照　词的语法功能来划分汉语词类ｌ＿４　以及基于语法功　能匹配句法分析的设想。文献［５０］通过实践验证了　通过语法功能来处理词语分类以及在句法中进行语　法功能匹配是可行的。基于语法功能匹配的句法分　析思想目前还处于探索阶段，因此，这种将中文语法　特点与一些句法分析模型相结合的研究，也将会是　今后一个有意义的研究方向。　致谢感谢英国剑桥大学Ｚｈａｎｇ　Ｙｕｅ博士，与　他的讨论使我们受益匪浅。　参考文献　［１］Ｍｉｔｃｈｅｌｌ　Ｐ　Ｍａｒｃｕｓ，Ｍａｒｙ　Ａｎｎ　Ｍａｒｃｉｎｋｉｅｗｉｃｚ，Ｂｅａｔｒｉｃｅ　Ｓａｎｔｏｒｉｎｉ．Ｂｕｉｌｄｉｎｇ　ａ　Ｌａｒｇｅ　Ａｎｎｏｔａｔｅｄ　Ｃｏｒｐｕｓ　ｏｆ　Ｅｎｇ—　１８　中文信息学报　２０１３经　ｌｉｓｈ：Ｔｈｅ　Ｐｅｎｎ　ＴｒｅｅＢａｎｋ［Ｊ］．Ｃｏｍｐｕｔａｔｉｏｎａｌ　ｌｉｎｇｕｉｓ￣　ｔｉｃｓ，１９９３，１９（２）：３１３－３３０．　［２］　Ｎａｉｗｅｎ　Ｘｕｅ，Ｆｅｉ　Ｘｉａ，Ｆｕ—Ｄｏｎｇ　Ｃｈｉｏｕ，ｅｔ　ａ１．Ｔｈｅ　Ｐｅｎｎ　Ｃｈｉｎｅｓｅ　Ｔｒｅｅｂａｎｋ：Ｐｈｒａｓｅ　Ｓｔｒｕｃｔｕｒｅ　Ａｎｎｏｔａｔｉｏｎ　ｏｆ　ａ　Ｌａｒｇｅ　Ｃｏｒｐｕｓ［Ｊ１．Ｎａｔｕｒａｌ　Ｌａｎｇｕａｇｅ　Ｅｎｇｉｎｅｅｒ—　ｉｎｇ，２００５，１ｌ（２）：２０７—２３８．　［３］周强．汉语句法树库标注体系［Ｊ］．中文信息学报，　２００４，１８（４）：１—８．　［４］Ｈｕａｎｇ　Ｃｈｕ－Ｒｅｎ，Ｋｅｈ—Ｊｉａｎｎ　Ｃｈｅｎ，Ｆｅｎｇ～Ｙｉ　Ｃｈｅｎ，ｅｔ　ａ１．　Ｓｉｎｉｃａ　Ｔｒｅｅｂａｎｋ：Ｄｅｓｉｇｎ　Ｃｒｉｔｅｒｉａ，Ａｎｎｏｔａｔｉｏｎ　Ｇｕｉｄｅｌｉｎｅｓ，ａｎｄ　Ｏｎ－ｌｉｎｅ　Ｉｎｔｅｒｆａｃｅ［ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ　０ｆ　ｔｈｅ　Ｃｈｉｎｅｓｅ　Ｌａｎｇｕａｇｅ　Ｐｒｏｃｅｓｓｉｎｇ　Ｗｏｒｓｈｏｐ．Ｓｔｒｏｕｄｓ—　ｂｕｒｇ：　Ａｓｓｏｃｉａｔｉｏｎ　ｆｏｒ　Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｌｉｎｇｕｉｓｔｉｃｓ，　２０００：２９－３７．　［５３　Ｅ　Ｂｌａｃｋ，Ｓ　Ａｂｎｅｙ，Ｄ　Ｆｌｉｃｋｅｎｇｅｒ，ｅｔ　ａ１．Ａ　Ｐｒｏｃｅｄｕｒｅ　ｆｏｒ　Ｑｕａｎｔｉｔａｔｉｖｅｌｙ　Ｃｏｍｐａｒｉｎｇ　ｔｈｅ　Ｓｙｎｔａｃｔｉｃ　Ｃｏｖｅｒａｇｅ　ｏｆ　Ｅｎｇｌｉｓｈ　Ｇｒａｍｍａｒｓ［ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　ＤＡＲＰＡ　Ｓｐｅｅｃｈ　ａｎｄ　Ｎａｔｕｒａｌ　Ｌａｎｇｕａｇｅ　Ｗｏｒｋｓｈｏｐ．Ｓｔｒｏｕｄｓ—　ｂｕｒｇ：Ａｓｓｏｃｉａｔｉｏｎ　ｆｏｒ　Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｌｉｎｇｕｉｓｔｉｃｓ，　１９９１：３０６—３１１．　［６］Ｅｕｇｅｎｅ　Ｃｈａｒｎｉａｋ．Ｓｔａｔｉｓｔｉｃａｌ　ｐａｒｓｉｎｇ　ｗｉｔｈ　ａ　ｃｏｎｔｅｘｔ—　ｆｒｅｅ　ｇｒａｍｍａｒ　ａｎｄ　ｗｏｒｄ　ｓｔａｔｉｓｔｉｃｓ［ｃ］／／Ｐｒ０ｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　１４ｔｈ　Ｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ．　ＭｅｎｌｏＰａｒｋ：ＡＡＡＩ　Ｐｒｅｓｓ／ＭＩＴ　Ｐｒｅｓｓ，１９９７：５９８—６０３．　［７］Ｅｕｇｅｎｅ　Ｃｈａｒｎｉａｋ．Ａ　ｍａｘｉｍｕｍ—ｅｎｔｒｏｐｙ　ｉｎｓｐｉｒｅｄ　ｐａｒｓｅｒ　［ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ＮＡＡＣＬ　２０００．　Ｓａｎ　Ｆｒａｎｃｉｓｃｏ：　Ｍｏｒｇａｎ　Ｋａｕｆｍａｎｎ　Ｐｕｂｌｉｓｈｅｒｓ，２０００：１３２—１３９．　Ｅ８］　Ｍｉｃｈａｅｌ　Ｃｏｌｌｉｎｓ．Ｈｅａｄ—Ｄｒｉｖｅｎ　Ｓｔａｔｉｓｔｉｃａｌ　Ｍｏｄｅｌｓ　ｆｏｒ　Ｎａｔｕｒａｌ　Ｌａｎｇｕａｇｅ　Ｐａｒｓｉｎｇ［Ｄ］．Ｐｈｉｌａｄｅｌｐｈｉａ：Ｕｎｉｖｅｒ—　ｓｉｔｙ　ｏｆ　Ｐｅｎｎｓｙｌｖａｎｉａ，１９９９．　［９］　Ｍｉｃｈａｅｌ　Ｃｏｌｌｉｎｓ．Ｄｉｓｃｒｉｍｉｎａｔｉｖｅ　ｒｅｒａｎｋｉｎｇ　ｆｏｒ　ｎａｔｕｒａｌ　ｌａｎｇｕａｇｅ　ｐａｒｓｉｎｇ［ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ＩＣＭＬ　２０００：　１７５—１８２．　Ｅ　ｌ　Ｏ］　Ｍｉｃｈａｅｌ　Ｃｏｌｌｉｎｓ，Ｎｉｇｅｌ　Ｄｕｆｆｙ．Ｎｅｗ　ｒａｎｋｉｎｇ　ａｌｇｏ—　ｒｉｔｈｍｓ　ｆｏｒ　ｐａｒｓｉｎｇ　ａｎｄ　ｔａｇｇｉｎｇ：ｋｅｒｎｅｌｓ　ｏｖｅｒ　ｄｉｓｃｒｅｔｅ　ｓｔｒｕｃｔｕｒｅｓ，ａｎｄ　ｔｈｅ　ｖｏｔｅｄ　ｐｅｒｃｅｐｔｒｏｎ［Ｃ］／／Ｐｒｏｃｅｅｄ—　ｉｎｇｓ　ｏｆ　ｔｈｅ　ＡＣＬ　２００２．Ｓｔｒｏｕｄｓｂｕｒｇ：Ａｓｓｏｃｉａｔｉｏｎ　ｆｏｒ　Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｌｉｎｇｕｉｓｔｉｃｓ，２００２：２６３—２７０．　［¨］　Ｅｕｇｅｎｅ　Ｃｈａｒｎｉａｋ，Ｍａｒｋ　Ｊｏｈｎｓｏｎ．Ｃｏａｒｓｅ－ｔｏ—ｆｉｎｅ　ｎ—　ｂｅｓｔ　ｐａｒｓｉｎｇ　ａｎｄ　ｍａｘｅｎｔ　ｄｉｓｃｒｉｍｉｎａｔｉｖｅ　ｒｅｒａｎｋｉｎｇ　［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ＡＣＬ　２００５．Ｓｔｒｏｕｄｓｂｕｒｇ：Ａｓｓｏ—　ｃｉａｔｉｏｎ　ｆｏｒ　Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｌｉｎｇｕｉｓｃｓ，２００５：１７３—１８０．　［１２］Ｊｏｈｎｓｏｎ　Ｍａｒｋ．ＰＣＦＧ　ｍｏｄｅｌｓ　ｏｆ　ｌｉｎｇｕｉｓｔｉｃ　ｔｒｅｅ　ｒｅｐｒｅ—　ｓｅｎｔａｔｉｏｎｓ［Ｊ］．Ｃｏｍｐｕｔａｔｉｏｎｓ　Ｌｉｎｇｕｉｓｔｉｃｓ，１９９８，２４　（４）：６１３－６３２．　［１３３　Ｄａｎ　Ｋｌｅｉｎ，Ｃｈｒｉｓｔｏｐｈｅｒ　Ｄ　Ｍａｎｎｉｎｇ．Ａｃｃｕｒａｔｅ　Ｕｎｌｅｘ—　ｉｃａｌｉｚｅｄ　Ｐａｒｓｉｎｇ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ＡＣＬ　２００３．　Ｓｔｒｏｕｄｓｂｕｒｇ：Ａｓｓｏｃｉａｔｉｏｎ　ｆｏｒ　Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｌｉｎｇｕｉｓ—　ｔｉｃｓ，２００３：４２３—４３０．　ｒ　１　４］　Ｓｌａｖ　Ｐｅｔｒｏｖ，Ｌｅｏｎ　Ｂａｒｒｅｔｔ，Ｒｏｍａｉｎ　Ｔｈｉｂａｕｘ，ｅｔ　ａ１．　Ｌｅａｒｎｉｎｇ　ａｃｃｕｒａｔｅ，ｃｏｍｐａｃｔ，ａｎｄ　ｉｎｔｅｒｐｒｅｔａｂｌｅ　ｔｒｅｅ　ａｎｎ０ｔａｔｉ０ｎ［Ｃ］／／Ｐｒ０ｃｅｅｄｉｎｇｓ　ｏｆ　ＣＯＬＩＮＧ—ＡＣＩ　２００６．　Ｓｔｒｏｕｄｓｂｕｒｇ：Ａｓｓｏｃｉａｔｉｏｎ　ｆｏｒ　Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｌｉｎｇｕｉｓ—　ｔｉｃｓ，２００６：４４３—４４０．　［１　５３　Ｓｌａｖ　Ｐｅｔｒｏｖ，Ｄａｎ　Ｋｌｅｉｎ．Ｉｍｐｒｏｖｅｄ　ｉｎｆｅｒｅｎｃｅ　ｆｏｒ　ｕｎ—　ｌｅｘｉｅａｌｉｚｅｄ　ｐａｒｓｉｎｇ［ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ＨＬＴ—ＮＡＡＣＬ　２００７．Ｒｏｃｈｅｓｔｅｒ，２００７：４０４—４１　１．　［１６］Ｔａｓｋａｒ　Ｂ，Ｋｌｅｉｎ　Ｄ，Ｃｏｌｌｉｎｓ　Ｍ，ｅｔ　ａ１．Ｍａｘ－ｍａｒｇｉｎ　ｐａｒ８ｉｎｇ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ＥＭＮＬＰ　２００４．　Ｂａｒｃｅｌｏ—　ｎａ，２００４．　［１７］Ｊｅｎｎｙ　Ｒｏｓｅ　Ｆｉｎｋｅｌ，Ａｌｅｘ　Ｋｌｅｅｍａｎ，Ｃｈｒｉｓｔｏｐｈｅｒ　Ｄ　Ｍａｎｎｉｎｇ．Ｅｆｆｉｃｉｅｎｔ，ｆｅａｔｕｒｅ—ｂａｓｅｄ，ｃｏｎｄｉｔｉｏｎａｌ　ｒａｎ—　ｄｏｒａ　ｆｉｅｌｄ　ｐａｒｓｉｎｇ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ＡＣＩ　一ＨＩ　Ｔ　２００８．９５９－９６７．　－１１８３　Ｂ　Ｔａｓｋａｒ，Ｃ　Ｇｕｅｓｔｒｉｎ，Ｄ　Ｋｏｌｌｅｒ．Ｍａｘ　ｍａｒｇｉｎ　Ｍａｒｋ—　ｏｖ　ｎｅｔｗｏｒｋｓ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ＮＩＰＳ　２００３．　Ｖａｎ—　ｃｏｕｖｅｒ，２００３．　［１９］Ｔｕｒｉａｎ　Ｊ，Ｍｅｌａｍｅｄ　ＩＤ．Ｃｏｎｓｔｉｔｕｅｎｔ　ｐａｒｓｉｎｇ　ｂｙ　ｃｌａｓｓｉ　ｆｉｃａｔｉｏｎ［Ｃ］／／Ｐｒ０ｃｅｅｄｉｎｇｓ　ｏｆ　１ｗＰＴ　２００５．　Ｓｔｒｏｕｄｓ—　ｂｕｒｇ：Ａｓｓｏｃｉａｔｉｏｎ　ｆｏｒ　Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｌｉｎｇｕｉｓｔｉｃｓ，　２００５．　［２Ｏ］Ｔｕｒｉａｎ　Ｊ，Ｍｅｌａｍｅｄ　ＩＤ．Ａｄｖａｎｃｅｓ　ｉｎ　ｄｉｓｃｒｉｍｉｎａｔｉｖｅ　ｐａｒｓｉｎｇ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ＣＯＬＩＮＧ－ＡＣＬ　２００６．　Ｓｔｒｏｕｄｓｂｕｒｇ：Ａｓｓｏｃｉａｔｉｏｎ　ｆｏｒ　Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｌｉｎｇｕｉｓ—　ｔｉｃｓ，２００６．　［２　１］Ｋｅｎｊｉ　Ｓａｇａｅ，Ａｌｏｎ　Ｌａｖｉｅ．Ａ　ｃｌａｓｓｉｆｉｅｒ　ｂａｓｅｄ　ｐａｒｓｅｒ　ｗｉｔｈ　ｌｉｎｅａｒ　ｒｕｎ—ｔｉｍｅ　ｃｏｍｐｌｅｘｉｔｙ［ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ＩＷＰＴ　２００５：１２５—１３２．　［２２］　Ｍａｇｅｒｍａｎ　Ｄａｖｉｄ　Ｍ．Ｓｔａｔｉｓｔｉｃａｌ　Ｄｅｃｉｓｉｏｎ—Ｔｒｅｅ　Ｍｏｄｅｌｓ　ｆｏｒ　Ｐａｒｓｉｎｇ［ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ＡＣＩ　１　９９５。　Ｓｔｒｏｕｄｓ—　ｂｕｒｇ：Ａｓｓｏｃｉａｔｉｏｎ　ｆｏｒ　Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｌｉｎｇｕｉｓｔｉｃｓ，　１９９５：２７６—２８３．　［２３］　Ａｄｗａｉｔ　Ｒａｔｎａｐａｒｋｈｉ．Ａ　Ｌｉｎｅａｒ　Ｏｂｓｅｒｖｅｄ　Ｔｉｍｅ　Ｓｔａｔｉｓ—　ｔｉｃａｌ　Ｐａｒｓｅｒ　Ｂａｓｅｄ　ｏｎ　Ｍａｘｉｍｕｍ　Ｅｎｔｒｏｐｙ　Ｍｏｄｅｌｓ　［ｃ］／／Ｐｒ０ｃｅｅｄｉｎｇｓ　ｏｆ　ＥＭＮＬＰ　１　９９７．　Ｅ２４３　Ｙｕｅ　Ｚｈａｎｇ，Ｓｔｅｐｈｅｎ　Ｃｌａｒｋ．Ｓｙｎｔａｃｔｉｃ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕ—　ｓｉｎｇ　ｔｈｅ　Ｇｅｎｅｒａｌｉｚｅｄ　Ｐｅｒｃｅｐｔｒｏｎ　ａｎｄ　Ｂｅａｍ　Ｓｅａｒｃｈ［Ｊ］．　Ｃｏｍｐｕｔａｔｉｏｎａ１　Ｌｉｎｇｕｉｓｔｉｃｓ，２０１１，３７（Ｉ）：１０５—１５１．　［２５３　Ｒｅｎｓ　Ｂｏｄ．Ａ　ｃｏｍｐｕｔａｔｉｏｎａｌ　ｍｏｄｅｌ　ｏｆ　ｌａｎｇｕａｇｅ　ｐｅｒ—　ｆｏｒｍａｎｅｅ：ｄａｔａ　ｏｒｉｅｎｔｅｄ　ｐａｒｓｉｎｇ［ｃ］／／Ｐｒ０ｃｅｅｄｊｎｇｓ　０ｆ　ＣＯＬＩＮＧ　１９９２．Ｓｔｒｏｕｄｓｂｕｒｇ：Ａｓｓｏｃｉａｔｉｏｎ　ｆｏｒ　Ｃｏｒｎ—　ｐｕｔａｔｉｏｎａｌ　Ｌｉｎｇｕｉｓｔｉｃｓ，１９９２：８５５　８５９．　［２６］Ｒｅｎｓ　Ｂｏｄ．Ｕｓｉｎｇ　ａｎ　Ａｎｎｏｔａｔｅｄ　Ｃｏｒｐｕｓ　ａｓ　ａ　Ｓｔｏｃｈａｓ—　ｔｉｃ　Ｇｒａｍｍａｒ［ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　Ｓｉｘｔｈ　Ｃｏｎｆｅｒ—　ｅｎｃｅ　ｏｆ　ｔｈｅ　Ｅｕｒｏｐｅａｎ　Ｃｈａｐｔｅｒ　ｏｆ　ｔｈｅ　ＡＣＬ．Ｓｔｒｏｕｄｓ—　ｂｕｒｇ：Ａｓｓｏｃｉａｔｉｏｎ　ｆｏｒ　Ｃｏｍｐｕｔａｔｉｏｎａ１　Ｌｉｎｇｕｉｓｔｉｃｓ，　１９９３：３７—４４．　［２７］Ｒｅｎｓ　Ｂｏｄ．Ｗｈａｔ　ｉｓ　ｔｈｅ　ｍｉｎｉｍａｌ　ｓｅｔ　ｏｆ　ｆｒａｇｍｅｎｔｓ　ｔｈａｔ　ａｃｈｉｅｖｅｓ　ｍａｘｉｍａｌ　ｐａｒｓｅ　ａｃｃｕｒａｃｙ？［ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ＡＣＬ　２００１．Ｓｔｒｏｕｄｓｂｕｒｇ：Ａｓｓｏｃｉａｔｉｏｎ　ｆｏｒ　Ｃｏｍｐｕ—　ｔａｔｉｏｎａｌ　Ｌｉｎｇｕｉｓｔｉｃｓ，２００１．　［２８］Ｊｏｓｈｕａ　Ｇｏｏｄｍａｎ．Ｅｆｆｉｃｉｅｎｔ　ａｌｇｏｒｉｔｈｍｓ　ｆｏｒ　ｐａｒｓｉｎｇ　ｔｈｅ　３期　吴伟成等：基于统计学习模型的句法分析方法综述　１９　ＤＯＰ　ｍ０ｄｅｌ［ｃ］／／Ｐｒ０ｃｅｅｄｉｎｇｓ　ｏｆ　ＥＭＮＬＰ　１９９６：１４３—　１５２．　ｌｅｘｉｃａｌｉｚｅｄ　ｓｔａｔｉｓｔｉｃａｌ　ｍｏｄｅｌｓ　ｒＤ］．Ｐｈｉｌａｄｅｌｐｈｉａ：Ｕｎｉ—　ｖｅｒｓｉｔｙ　ｏｆ　Ｐｅｎｎｓｙｌｖａｎｉａ，２００４．　［２９］　Ｒｅｎｓ　Ｂｏｄ．Ａｎ　ｅｆｆｉｃｉｅｎｔ　ｉｍｐｌｅｍｅｎｔａｔｉｏｎ　ｏｆ　ａ　ｎｅｗ　Ｄ０Ｐ　［４０］Ｄｅｙｉ　Ｘｉｏｎｇ，Ｓｈｕａｎｇｌｏｎｇ　Ｌｉ，Ｑｕｎ　Ｌｉｕ，ｅｔ　ａ１．Ｐａｒｓｉｎｇ　ｔｈｅ　Ｐｅｎｎ　Ｃｈｉｎｅｓｅ　Ｔｒｅｅｂａｎｋ　ｗｉｔｈ　ｓｅｍａｎｔｉｃ　ｋｎｏｗｌｅｄｇｅ　ｍｏｄｅｌ［ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ＥＡＣＬ．Ｓｔｒｏｕｄｓｂｕｒｇ：Ａｓ—　ｓｏｃｉａｔｉｏｎ　ｆｏｒ　Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｌｉｎｇｕｉｓｔｉｃｓ，２００３：１９—２６．　　Ｂａｎｓａｌ，Ｄａｎ　Ｋｌｅｉｎ．Ｓｉｍｐｌｅ，ａｃｃｕｒａｔｅ　ｐａｒｓｉｎｇ　［３０３　Ｍｏｈｉｔ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ＩＪＣＮＬＰ　２００５：７０—８１．　［４１］曹海龙．基于词汇化统计模型的汉语句法分析研究　［Ｄ］．哈尔滨：哈尔滨工业大学，２００６．　ｗｉｔｈ　ａｎ　ａｌｌ—ｆｒａｇｍｅｎｔｓ　ｇｒａｍｍａｒ［ｃ］／／Ｐｒ０ｃｅｅｄｉｎｇｓ　ｏｆ　ＡＣＬ　２０１０．Ｓｔｒｏｕｄｓｂｕｒｇ：Ａｓｓｏｃｉａｔｉｏｎ　ｆｏｒ　Ｃｏｍｐｕｔａ—　ｔｉｏｎａｌ　Ｉ　ｉｎｇｕｉｓｔｉｃｓ，２０１０：ｌ０９８－１１０７．　ｃｏ　Ｓａｎｇａｔｉ，Ｗｍｅｍ　Ｚｕｉｄｅｍａ．Ａｃｃｕｒａｔｅ　Ｐａｒｓｉｎｇ　［３１］　Ｆｅｄｅｒｉ［４２］张浩，刘群，白硕．结构上下文相关的概率句法分析　［ｃ］／／第一届学生计算语言学研讨会．ｊＥ京：北京大　学，２００２．　ｗｉｔｈ　Ｃｏｍｐａｃｔ　Ｔｒｅｅ－Ｓｕｂｓｔｉｔｕｔｉｏｎ　ＧｒａｍｍａｒＳ：Ｄｏｕｂｌｅ—　ＤＯＰ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ＥＭＮＬＰ　２０１１：８４—９５．　［３２３　Ｓｉｍａ’ａｎ　Ｋ．Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｃｏｍｐｌｅｘｉｔｙ　ｏｆ　Ｐｒｏｂａｂｉｌｉｓ—　ｔｉｃ　Ｄｉｓａｍｂｉｇｕａｔｉｏｎ　ｂｙ　Ｍｅａｎｓ　ｏｆ　Ｔｒｅｅ　Ｇｒａｍｍａｒｓ［Ｃ］／／　Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　Ｃ０ＬＩＮＧ　１９９６．Ｓｔｒｏｕｄｓｂｕｒｇ：Ａｓｓｏｃｉａ—　ｔｉｏｎ　ｆｏｒ　Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｌｉｎｇｕｉｓｔｉｃｓ，１９９６：１１７５—１１８０．　［３３］　Ｒｅｎｓ　Ｂｏｄ．Ｐａｒｓｉｎｇ　ｗｉｔｈ　ｔｈｅ　Ｓｈｏｒｔｅｓｔ　Ｄｅｒｉｖａｔｉｏｎ［ｃ］／／　Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ＣＯＬＩＮＧ［Ｃ］．Ｓｔｒｏｕｄｓｂｕｒｇ：Ａｓｓｏｃｉａ—　ｔｉｏｎ　ｆｏｒ　Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｌｉｎｇｕｉｓｔｉｃｓ，２０００：６９—７５．　［３４］　Ｒｅｍｋｏ　Ｓｃｈａ．Ｔａａｌｔｈｅｏｒｉｅ　ｅｎ　ｔａａ１ｔｅｃｈｎｏｌ０ｇｉｅ：ｃｏｍｐｅ—　ｔｅｎｃｅ　ｅｎ　ｐｅｒｆｏｒｍａｎｃｅ［Ｃ］／／Ｒ．ｄｅ　Ｋｏｒｔ　ａｎｄ　Ｇ．Ｌ．Ｊ．　Ｌｅｅｒｄａｍ（ｅｄｓ．）：Ｃｏｍｐｕｔｅｒｔｏｅｐａｓｓｉｎｇｅｎ　ｉｎ　ｄｅ　Ｎｅｅｒ—　ｌａｎｄｉｓｔｉｅｋ．Ａｌｍｅｒｅ：ＬＶＶＮ，１９９０：７－２２．　［３５ｊ　Ｊｏｈｎ　Ｈｅｎｄｅｒｓｏｎ，Ｅｒｉｃ　Ｂｒｉｌ１．Ｅｘｐｌｏｉｔｉｎｇ　ｄｉｖｅｒｓｉｔｙ　ｉｎ　ｎａｔｕｒａｌ　ｌａｎｇｕａｇｅ　ｐｒｏｃｅｓｓｉｎｇ：ｃｏｍｂｉｎｉｎｇ　ｐａｒｓｅｒｓ［ｅｌ／／　Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ＥＭＮＩ　Ｐ　１９９９：１８７—１９４．　［３６］　Ｋｅｎｊｉ　Ｓａｇａｅ，Ａｌｏｎ　Ｌａｖｉｅ．Ｐａｒｓｅｒ　ｃｏｍｂｉｎａｔｉｏｎ　ｂｙ　ｒｅｐａｒｓｉｎｇ［ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ＮＡＡＣＬ　２００６．　Ｓｔｒｏｕｄｓｂｕｒｇ：Ａｓｓｏｃｉａｔｉｏｎ　ｆｏｒ　Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｌｉｎｇｕｉｓ—　ｔｉｃｓ，２００６：１２９—１３２．　［３７］　Ｈｕｉ　Ｚｈａｎｇ，Ｍｉｎ　Ｚｈａｎｇ，Ｃｈｅｗ　Ｌｉａｒ　Ｔａｎ，ｅｔ　ａ１．Ｋ—　Ｂｅｓｔ　Ｃｏｍｂｉｎａｔｉｏｎ　ｏｆ　Ｓｙｎｔａｃｔｉｃ　Ｐａｒｓｅｒｓ［Ｃ］／／Ｐｒｏｃｅｅｄ—　ｉｎｇｓ　ｏｆ　ＥＭＮＬＰ　２００９．Ｓｔｒｏｕｄｓｂｕｒｇ：Ａｓｓｏｃｉａｔｉｏｎ　ｆｏｒ　Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｌｉｎｇｕｉｓｔｉｃｓ，２００９：１５５２—１５６０．　［３８３　林颖，史晓东，郭峰．一种基于概率上下文无关文法　的汉语句法分析［Ｊ］．中文信息学报，２００６，２０（２）：１—　７．　［３９］　Ｄａｎｉｅｌ　Ｍ　Ｂｉｋｅ１．Ｏｎ　ｔｈｅ　ｐａｒａｍｅｔｅｒ　ｓｐａｃｅ　ｏｆ　ｇｅｎｅｒａｔｉｖｅ　［４３］　Ｍｅｎｇｑｉｕ　Ｗａｎｇ，Ｋｅｎｊｉ　Ｓａｇａｅ，Ｔｅｒｕｋｏ　Ｍｉｔａｍｕｒａ．Ａ　ｆａｓｔ，ａｃｃｕｒａｔｅ　ｄｅｔｅｒｍｉｎｉｓｔｉｃ　ｐａｒｓｅｒ　ｆｏｒ　Ｃｈｉｎｅｓｅ［Ｃ］／／　Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　Ｃ０ＬＩＮＧ／ＡＣＬ．Ｓｔｒｏｕｄｓｂｕｒｇ：Ａｓｓｏｃｉ—　ａｔｉｏｎ　ｆｏｒ　Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｌｉｎｇｕｉｓｔｉｃｓ，２００６：４２５—４３２．　［４４］Ｌｉ　Ｊｕｎｈｕｉ，Ｚｈｏｕ　Ｇｕｏｄｏｎｇ，Ｎｇ　Ｈｗｅｅ　Ｔｏｕ．Ｓｙｎｔａｃｔｉｃ　Ｐａｒｓｉｎｇ　ｗｉｔｈ　Ｈｉｅｒａｒｃｈｉｃａｌ　Ｍｏｄｅｌｉｎｇ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ＡＩＲＳ　２００８：５６１－５６６．　［４５］Ｌｉ　Ｊｕｎｈｕｉ，Ｚｈｏｕ　Ｇｕｏｄｏｎｇ，Ｎｇ　Ｈｗｅｅ　Ｔｏｕ．Ｊｏｉｎｔ　Ｓｙｎ—　ｔａｔｉｃ　ａｎｄ　Ｓｅｍａｎｔｉｃ　Ｐａｒｓｉｎｇ　ｏｆ　ｃｈｉｎｅｓｅ［ｃ］／／Ｐｒｏｃｅｅｄ—　ｉｎｇｓ　ｏｆ　ＡＣＬ　２０１０．Ｓｔｒｏｕｄｓｂｕｒｇ：Ａｓｓｏｃｉａｔｉｏｎ　ｆｏｒ　Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｌｉｎｇｕｉｓｔｉｃｓ，２０１０：１１０８—１１ｌ７．　［４６］　Ｚｈｉｇｕｏ　Ｗａｎｇ，Ｃｈｅｎｇｑｉｎｇ　Ｚｏｎｇ．Ｐｈｒａｓｅ　Ｓｔｒｕｃｔｕｒｅ　Ｐａｒｓｉｎｇ　ｗｉｔｈ　Ｄｅｐｅｎｄｅｎｃｙ　ｓｔｒｕｃｔｕｒｅ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　Ｃ０ＬＩＮＧ　２０１０．　Ｓｔｒｏｕｄｓｂｕｒｇ：　Ａｓｓｏｃｉａｔｉｏｎ　ｆｏｒ　Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｌｉｎｇｕｉｓｔｉｃｓ，２０１０：１２９２—１３００．　［４７］Ｈａｌ　Ｄａｕｍ６　ＩＩＩ，Ｌａｎｇｆｏｒｄ　Ｊ，Ｍａｒｃｕ　Ｄ．Ｓｅａｒｃｈ—ｂａｓｅｄ　ｓｔｒｕｃｔｕｒｅｄ　ｐｒｅｄｉｃｔｉｏｎ［Ｊ］．Ｍａｃｈｉｎｅ　Ｌｅａｒｎｉｎｇ，２００９，　７５（３）：２９７—３２５．　［４８］Ｄａｎｉｅｌ　Ｍ．Ｂｉｋｅ１．Ｔｗｏ　Ｓｔａｔｉｓｔｉｃａｌ　Ｐａｒｓｉｎｇ　Ｍｏｄｅｌｓ　Ａｐ—　ｐｌｉｅｄ　ｔｏ　ｔｈｅ　Ｃｈｉｎｅｓｅ　Ｔｒｅｅｂａｎｋ［ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　Ｓｅｃｏｎｄ　Ｃｈｉｎｅｓｅ　Ｌａｎｇｕａｇｅ　Ｐｒｏｃｅｓｓｉｎｇ　Ｗｏｒｋｓｈｏｐ．　Ｓｔｒｏｕｄｓｂｕｒｇ：Ａｓｓｏｃｉａｔｉｏｎ　ｆｏｒ　Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｌｉｎｇｕｉｓ　ｔｉｃｓ，２０００：１—６．　［４９］陈小荷．从自动句法分析角度看汉语词类问题［Ｊ］．　语言教学与研究，１９９９．　［５Ｏ］徐艳华．现代汉语实词语法功能考察及词类体系重　构［Ｄ］．南京：南京师范大学，２００６．