ＥＬＥＣＴＲＯＮｌＣＳ ＷＯＲＬＤ・菇； 萦与琴留 寡 结合ＣＨＩ统计和改进ＴＦ—ＩＤＦ算法的微博特征项提取 广东工业大学自动化学院严 萌 朱燕飞 郑卜松徐迅 【摘要】特征项是微博话题检测中的重要因素，特征项的提取结果直接影响话题检测计算的复杂度和准确度。本文提出了一种结合ＣＨＩ方法 和改进ＴＦ—ＩＤＦ算法的方法来提取特征项，从而来降低空间向量的维数。本文考虑到了中文词中存在一义多词或一词多义的缘故，对传统的 归一化ＴＦ—ＩＤＦ算法进行了一些改进，即在计算词的权重时结合了词的语义。通过该算法来提取特征项不仅可以降低建空间向量时的维度， 而且还可以减少话题的重复性，但在计算权重后容易忽略一些有利于分类的低频词，故本文在改进ＴＦ—ＩＤＦ算法的同时还结合了ＣＨＩ统计方 法．该方法可以发现一些有利于文本分类结果的低频词。故能从一定程度上提高话题检测的准确率和速度。 【关键词】ｃＨＩ；ＴＦ－ＩＤＦ；特征提取；词频 微博是Ｗｅｂ２．０５３技术基础上实现的一种媒介（ｓｏｃｉａｌ ｍｅｄｉａ）， 其允许使用者通过Ｗｅｂ，Ｗａｐ以及各种客户端设备及时发送和更新短 文本，微博逐渐成为了人们分享、获取实时信息，发表个人观点的 最普遍的方式。 比较常用的特征项提取方法主要有互信息、文档词频、信息增益、 卡方统计量、文本证据权等，在特征选择方面，美国卡内基梅隆大学的 Ｙａｎｇ教授针对文本分类问题，在分析和比较了ＩＧ、ＤＦ、ＭＩ和ＣＨＩ等方法 后，得出ＩＧ和ＣＨＩ方法分类效果相对较好的结论 ，清华大学李粤等人 提出结合传统的互信息方法和ＣｔｔＩ统计方法，使得查全率和查准率都得 到了明显的提高。但ＣＨＩ方法只考虑单词和类别之间的关系，忽略了单 词与单词之间的联系。这样选择的特性有更大的冗余。在向量空间模型 中，通常使用的权重计算方法是采用ＴＦ—ＩＤＦ方法。在一定的程度上，该 方法是能有效地反映一个特征词的重要程度，虽然该方法可以减少计算 时间，简化提取步骤，但是这种方法没有考虑词与词之间的联系，并且 忽略了低频词。该方法了文本分类的准确性和特征提取。 本文提出的结合ＣＨＩ和改进ＴＦ—ＩＤＦ算法的方法来对特征项进行 提取，是用改进ＴＦ—ＩＤＦ算法来弥￣ＦＣＨＩ方法在特征提取中存在的不 足，从而提高微博话题检测的准确率。 １ ＣＨＩ统计特征选择方法 ＣＨＩ统计方法的思想是假设特征项ｗ与类别Ｃ之间的关系是类 似于具有一维自由度的Ｘ ２分布。ｗ对于Ｃ的统计量可计算为： ）＝ 面 ￣（ａ Ｄ－ Ｂｃ丽）２ （１） 其中，Ａ是包含了特征项ｗ并且还是属于类别ｃ的文档个数，Ｂ是 包含特征项ｗ但它不是属于类别ｃ的文档个数，ｃ则是没有特征项，ｗ 可属于类别ｃ的文档个数，Ｄ代表既没有特征项ｗ也不属于类别的文 档个数，Ｎ是所有的文档个数。 该方法用来衡量类别ｃ之间与类别ｃ之间的关联度。当类别ｃ和 特征项ｗ相互时，有 ｃ）一ｏ 。而当类别ｃ和特征项ｗ的关联性越 强， ｃ）的值就会越大，其价值越大，其识别信息量就越大。 ￣ａｎｇ口 的研究表明，ＣＨＩ统计方法是目前最好的特征选择方法 之一。与其他方法相比，分类效果好。大多数中文分类系统都采用 这种方法，可是存在下面几个缺点： （１）ＣＨＩ统计方法只是考虑到了词的文档频，并无顾及到特征的 词频，故极大的放大了低频词的作用。 （２）特征词的ＣＨＩ值是将特征词对一个类别的ＣＨＩ值与其余不同类 别的卡方值做对比，ＣＨＩ值很可能把对某一特定的类别的贡献低， 而对其它的类的贡献高的特征词给选择出来。 ２ ＴＦ－ＩＤＦ及其改进 ＴＦ－ＩＤＦ￣Ｊ０ｎｅｓ嘲首次提出 昙 其计算公式如下常用的计算方法如下 ＝（２） 其中，ｍ是表示特征词在文档ｉ中出现的次数， Ｍ表示文档ｉ中 的总单词数量。 ／ＤＦ＝ （ 。１） （３） 其中，Ｎ为总文档数，ｎ为包含某项特征词的文档总数。 ＴＦ一／ＤＦ＝ＴＦ×／ＤＦ （４） 选用传统归一化ＴＦ－ＩＤＦ￣法来给特征项赋权时，其计算公式如下 ｘ ＋ｏ－ｏｔ） （５） ｆｆ，是代表了第ｉ个文本中的第ｊ个特征项， ｆ，代表了特征项Ｊ出 现在文本ｉ的频率， ，代表了特征项ｔＵ的权重， ｍｎ为逆文档频 率，Ｎ是代表文档的总数， ，是代表包含了所有ｔ／ｊ５３文本数量。 采用传统归一化ＴＦ－ＩＤＦ方法来给特征项赋权时，并没有思考 词语的近义词会在文本集中出现的情形，如果采用该方法给特征项 赋权就忽略了文本中的这种特性，本文在文献 中给出的结合语义 给特征项赋权的基础下改进了传统归一化ＴＦ—ＩＤＦ方法，实现了形式 与词义的结合，其定义公式如下： ＝ （６） 其中，ｓ为文本ｉ中包含得得特征项ｔｑ和与特征项 相似度大于ｙ的 特征项的个数之和与特征项ｔ７ｉ的个数的商， “表示包含特征项ｔｑ或与 特征项ｔＯ的相似度大于ｙ的特征项的文本个数，ｙ是系统设定值。在文 献 中通过对知识的描述语言分析，得悉“知网”的描述知识言可以 用集合与义原、特征结构这两种抽象数据结构来表达，语义的相似计 算方法采用的是基于“知网”中的计算相似度的算法来确定ｙ ０．８。 ３基于ＣＨＩ方法和改进ＴＦ－ＩＤＦ算法的特征提取 获取的总闻Ｎｅｗｓ一曲…Ｄ一叫， 表示为所有新闻中的第ｉ条新闻。￣￣｝Ｎｅｗｓ 分为两个部分，以便于于后面的特征项提取硒ｒ－ｌ嘏，皿丑 皿｝慨矗丑１． ＋ －一）， 第ｉ条新闻中的所用词语即可以表示 一 ，。— …ｗｏｒｄ ￣ｊ＋ｚｌ。 然后取其中一类中的所有不同词 ．一｛ — ， ，按上述 公式（２）得到每个文本中每个词的词频得盯 ＝｛， 。 一 一．，瑚 ｊ， 再计算不属于那一类的所有词的词频得到 一娩 。 ｊ，，用公式 （７）来计算一个类中所有词的ＣＨＩ值： Ｃ１ 母 一＾ ）一ＮＳＴｎ． 一ｓ ｒ． ．．ａ ｊ＝＝＝ 瓦＝了 （７） 公式（６）来计算每个词在每篇文本中所占权重 一 即可得到 每个词的权重和ｓｆ 。＝耵 ＋ 一，＋耵 ，＋ 然后结合ＣＨＩ重新给一个类的所有词赋权，计算公式如下： 。 一 ㈤ 即有一个类中每个词语的权重胛 ＝妒 ． …聊０。 ４实验环境 本文的实验数据来自于微博开放平台ＡＰＩ，使用网络爬虫技术 获取２０１５年３月一２Ｏ１５年４月的微博，将每个微博文本的内容当成一 个部分。利用结合ＣＨＩ和改进的ＴＦ—ＩＤＦ算法的方法来提取特征项来 电子心界 ・６７・ ＥＬＥＣＴＲＯＮＩＣＳ ＷＯＲＬＤ・探索与观察 减少微博文本的维度。电脑系统Ｗｉｎｄｏｗ７，ＲＡＭ ６Ｇ。软件用Ｊａｖａ编 程，用ＭＡＴＬＡＢ７．０实现结果的对比。 微。实验三：取１９００条微博，９５０条关于《太阳的后裔》和９５０条与 《太阳的后裔》无关的微博。用ＣＨＩ方法和本文提出的方法来进行 特征项的选择。表２是３组实验数据的结果对比图。本文根据文献 微平均精确率（ｍｉｃｒｏ—ａｖｅｒａｇｉｎｇ ｐｒｅｃｉｓｉｏｎ），被普遍的用于交叉 验证的比较。这里它来比较不同的特征选择算法的效果。图３显示 的是ＳＶＭ分类器分别采用ＣＨＩ方法和基于结合ＣＨＩ和改进的ＴＦ—ＩＤＦ算 法的方法在微博数据集上的ｍｉｃｒｏ Ｐ曲线。从图３可知用不同方法 分别获取４００，８００，１２００，１６００个特征项时ＳＶＭ分类器的ｍｉＣＦＯ Ｐ值中 可以看出基于基于结合ＣＨＩ和改进ＴＦ—ＩＤＦ算法的方法提取的特征项 在一定程度上提高了查准率。 表２三组实验数据的结果对比图 ５实验步骤与结果 ５．１特征项提取流程图 图１微博特征项提取流程图 获取２０００关于《太阳的后裔》的微博和２０００条与《太阳的后 裔》无关的微博。有ｓｗｗ：｛肼 ， … ｌＷ ｝，ＳＣＮ＝ＮＥＷＳ。 将获得微博数据进行预处理，本文中使用由张华平、刘群等人 设计和开发的ＩＣＴＣＬＡＳ分词系统…对中文微博信息进行分词和词性 标注，然后去掉停用词得到词 ＝职， … ｝。把获取的微博数据ＳＣＮ 分为两类一类是《太阳的后裔》和另一类非《太阳的后裔》，取这 两类中的所有不同的词即为 ；｛ … ｝ ， … ｝ｊ。再计算每个微 博中每个词的词频即为旺＝ ，ｋ… ｝，从ＳＣＮ的一类中取得所 有不同词 Ｅ＝ 城—“ ｝。 ５．２实验结果 表格ｌ是传统的归一化ＴＦ—ＩＤＦ算法与改进的ＴＦ—ＩＤＦ算法对词权 ＿＿＿一ＣＨ● 一基于ｃＨＩ袖敢进ＴＦ．Ｉ ●。．●ＯＯ １２４ｏ ｉｅ∞ 特征 瞄良目 图３采用不同方法提取特征的ＳＶＭ分类器性能比较 重计算的结果。从图２可以得出在改进的ＴＦ ＩＤＦ算法下得到权重都 比传统的算法得到的值大，这是因为我们在计算的时候考虑到了词 语的语义，将近义词归在一起求值。因此改进后的方法可以减少由 词的近义词所引起的误差。提高了计算的准确性。 表１两种方法下计算的词权 ６结束语 本文的研究工作是关于文本特征提取，提高特征提取的准确度从而 达到降维的目的。ｃＨ１只是关注词与词之间的关系，新的方法提高了特征 项提取的结果。在此基础上，利用支持向量机进行文本分类的准确率达 到了８ｌ＿２％，本实验取得了良好的效果，能提高微博话题检测的准确率。 参考文献 ｆ １ ｌＹａｎｇ Ｙｉ—ｍｉｎｇ，ＬＩＵ Ｘｉｎ．Ａｎｎｕａｌ Ｉｎｔｅｒｎａｔｉｏｎａｌ ＡＣＭ ＳＩＧＩＲ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｒｅｓｅａｒｃｈ ａｎｄ Ｄｅｖｅｌｏｐｍｅｎｔ ｉｎ ｉｎｆｏｒｍａｔｉｏｎ［Ｊ］．Ａｎｎｕａｌ Ｉｎｔｅｒｎａｔｉｏｎａｌ ＡＣＭ ＳＩＧＩＲ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｒｅｓｅａｒｃｈ ａｎｄ Ｄｅｖｅｌｏｐｍｅｎｔ ｉｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｒｅｔｒｉｅｖａｌ Ｎｅｗ Ｙｏｒｋ：ＡＣＭ，１９９９，８（６）：４２—４９． 【２１李粤，李星，刘辉等．一种改进的文本网页分类特征选择方法Ｕ１ ｌ计算机应用，２００４，７（３）：１ Ｉ９—１２１． 『３］Ｙａｎｇ Ｙｉ－ｍｉｎｇ．Ａｎ ｅｖａｌｕａｔｉｏｎ ｏｆ ｓｔａｔｉｓｔｉｃａｌ ａｐｐｒｏａｃｈｅｓ ｔｏ ｔｅｘｔ ｃａｔｅｇｏｒｉｚａｔｉｏｎ［Ｊ］．Ｉｎｆｏｒｍａｔｉｏｎ Ｒｅｔｒｉｅｖａｌ，２０００，１（１—２）：６９—９． 【４Ｕｏｎｅｓ Ｋ ｓ．Ａ Ｓｔａｔｉｓｔｉｃａｌ Ｉｎｔｅｒｐｒｅｔａｔｉｏｎ ｏｆ Ｔｅｒｍ Ｓｐｅｃｉｉｆｃｉｔｙ ａｎｄ Ｉｃｓ Ａｐｐｌｉｃａｔｉｏｎ ｉｎ Ｒｅｔｒｉｅｖａｌ［Ｊ］．Ｊｏｕｍａｌ ｏｆｄｏｃｕｍｅｎｔａｔｉｏｎ，１９７２，２８（１）：１１—２１． 【５１４￣Ｌ鹏，陈立潮，张英俊，等．结合语义的特征权重计算方法研究Ｕ】ｌ 计算机工程与设计，２０１０，１０（１０）：２３８１—２３８３． Ｉ６】张敬．网络舆情的热点检测及趋势分析研究 计算机Ｘ－－程与 设计，２０１２，９（８）：１ ５６—１５８． 【７】衣波，陈新．网络舆情信息的话题发现和追踪技术的研究与应 用Ｕ１．广东工业大学学报，２０１３，８（３０）：５８—６４． 『８】程奇华，张立臣．信息物理融合系统语义模型分析【Ｉ１．广东工业 大学学报，２（）１ ６，３３（０３）：４３－４８． 作者简介： 严萌【通讯作者】（１９９１一），女，硕士研究生，主要研究方 向：微博话题检的学习和研究。 朱燕飞（１９７６一），女，副教授，研究方向：系统建模、智能 算法分析及控制。 郑卜松（１９９２一），男，硕士研究生，研究方向：系统建模、 智能算法分析及控制。 徐训（１９９２一），男，硕士研究生，研究方向：系统建模、智 能算法分析及控制。 图２权重结果对比仿真图 做三组实验，实验一：取１７００条微博，８５０条关于《太阳的后 裔》＊Ｎ８５０条与《太阳的后裔》无关的微博。实验二：取１８００条微 博，９００条关于《太阳的后裔》和９００条与《太阳的后裔》无关的 ・６８・ 屯子１蟹界
