第３５卷第５期 江西师范大学学报（自然科学版） Ｖｌ０ｌ＿３５ＮＯ．５ ２０１１年９月 ＪＯＵＲＮＡＬ ＯＦ ＪＩＡＮＧＸＩ ＮＯＲＭＡＬ ＵＮＩＶＥＲＳＩＴＹ（ＮＡＴＵＲＡＬ ＳＣＩＥＮＣＥ） Ｓｅｐ．２０１１ 文章编号：１０００．５８６２（２０１ １）０５．０５４８．０３ 计算机化自适应诊断测验新的选题策略 余 丹，潘奕娆，丁树良 ，杨 （江西师范大学计算机信息工程学院，江西南昌３３００２２） 摘要：提出了一种既能满足属性平衡又能有效处理相似属性模式的新方法——改进的极大化整体判别认知 诊断模型信息量指标法（ＭＧＣＤＩ）．对无结构型的属性，讨论定长ＣＤ．ＣＡＴ的选题策略．研究结果表明，使用 相同选题策略选题时，先选择可达矩阵的所有列对应的项目比不使用这些项目的诊断准确率高． 关键词：计算机化自适应诊断测验；选题策略；可达矩阵；诊断准确率 中图分类号：ＴＰ １８ 文献标识码：Ａ 的总和为 ０ 引言 ＧＤｌｊ（ｄｔｉ）＝ 传统的基于项目反应理论的计算机化自适应测验 （ｃｏｍｐｕｔｅｒｉｚｅｄ ａｄａｐｔｉｖｅ ｔｅｓｔｉｎｇ ｂａｓｅｄ ｏｎ ｉｔｅｍ ｒｅｓｐｏｎｓｅ 强。ｇ（ Ｉ． ｔｈｅｏｒｙ，ＩＲＴ．ＣＡＴ）只从宏观上为被试提供一个测验 虽然ＧＤＩ方法能够有效地揭示被试认知剖面图 分数，并不从微观上分析被试内在的知识结构及认 （ｐｒｏｆｉｌｅｓ），但是没有考虑属性覆盖．平衡属性覆盖 知技能…．计算机化自适应诊断测验（ｃｏｍｐｕｔｅｒｉｚｅｄ 类似于ＩＲＴ－ＣＡＴ中的内容平衡，但是ＩＲＴ－ＣＡＴ中大 ａｄａｐｔｉｖｅ ｔｅｓｔｉｎｇ ｗｉｔｈ ｃｏｇｎｉｔｉｖｅ ｄｉａｇｎｏｓｉｓ．ＣＤ－ＣＡＴ）不 部分内容平衡方法无法直接应用于ＣＤ．ＣＡＴ．因为， 仅为被试提供一个测验分数，而且能够提供详细的 在ＩＲＴ－ＣＡＴ中模型通常需要的内容区域是互斥的． 诊断信息，即被试掌握了哪些属性（正确作答一个项 换句话说，如果一个项目属于一个内容区域，那它 目需要的任务、子任务、认知加工或技能），未掌握 就不属于另一个内容区域．但在ＣＤ．ＣＡＴ中，一个 哪些属性，还需要在哪些方面进行补救Ｉ２】．ＣＤ．ＣＡＴ 项目可以同时测量多个属性． 正如ＩＲＴ—ＣＡＴ一样，其关键也是选题策略．本文在 修正的极大化判别指标法（ｍｏｄｉｉｆｅｄ ｍａｘｉｍｕｍ 属性满足无结构型的条件下，讨论定长ＣＤ．ＣＡＴ的 ｇｌｏｂａｌ ｄｉｓｃｒｉｍｉｎａｔｉｏｎ ｉｎｄｅｘ ｍｅｔｈｏｄ，ＭＭＧＤＩ）中的指 ３种选题策略，并讨论题库是否含可达矩阵对这３种 标是通过将属性平衡指标与整体判别指标（Ｇ伽相 选题策略诊断准确率的影响． 乘，即可获得修正ＧＤＩ指标（ＭＧＤＩ），其具体计算公 式为 １ ＣＤ．ＣＡＴ选题策略 ＭＧＤＩｊ（＆ｆ）＝兀（（ 一ｂｋ）ｌＢｋ）ｑｐＧＤｌｊ（￣ｔｉ）， １．１ ＭＭＧＤＩ方法 尽管Ｋｕｌｌｂａｃｋ．Ｌｅｉｂｌｅｒ（ＫＬ）信息量在统计上可以 其中兀（（ 一 ）／ ）％为属性平衡指标，Ｂｋ为测量 有效地区分被试估计的知识状态与真实的知识状态， 属性ｋ需要的最小项目数，即最少需要 个项目测 但在实际操作中，被试真实的知识状态是未知的． 量属性ｋ，ｂｋ表示测量属性ｋ已选择的项目数． 当属性个数为Ｋ时，被试真实的知识状态最多有２ １．２ ＣＤＩ方法 种可能．因此，Ｘｕ ｘｕｅｌｉ等【３］提出整体判别指标 如果一个测验可以有效地区分２个相似的属性 （ｇｌｏｂａｌ ｄｉｓｃｒｉｍｉｎａｔｉｏｎ ｉｎｄｅｘ，ＧＤＩ），ＧＤＩ为 （ ，１ ｄｅｆ） 模式，那它一定可以很好区分彼此不相似的属性模 与所有其他模式条件下 条件分布之间ＫＬ信息量 式．认知诊断模型（ＣＤＭ）信息量指标法『４ （ＣＤＭ 收稿日期：２０１１．０６—０９ 基金项目：国家自然科学基金（３０８６００８４，６０２６３００５，３１１６０２０３，３１１００７５６）资助项目． 作者简介：丁树良（１９４９．），男，江西樟树人，教授，博士生导师，主要从事计算机辅助教学、应用统计及教育和心理测量方面的研究 第５期 余丹，等：计算机化自适应诊断测验新的选题策略 ５４９ ｉｎｆｏｒｍａｔｉｏｎ ｉｎｄｅｘ，ＣＤＩ）的主要思路是在比较２个相 似的属性模式时赋予更大的权重．通常情况下，比 较任意２个属性模式 与 之间相似度的指标是欧式 距离的平方 ＾ｒ＋１种．每种属性掌握模式产生３０名被试，则模拟 被试人数为（６３＋Ｉ）￣３０＝Ｉ ９２０． ２．２题库的生成 （１）含可达矩阵的题库 无结构型的 阵共有 ｈ（ａ， ）＝∑（ 一 ） ． 当ｈ（５， ）的值越小说明这２个属性模式越相似， ６列， 阵共有６３列，题库中题型含８个可达阵，４个 Ｑｒ－Ｒ（￣［Ｉ将 中减去Ｒ对应的列），即８×６＋４×（６３— ６）＝２７６，每一类题型放５个具体的项目，则模拟的题 一 ● 应赋予更大的权重．ＣＤＩ中使用ｈ（ａ， ）的倒数，认 库中所包含的项目总数为２７６ｘ５＝１ ３８０． ｎ 知诊断指标ＣＤＩ 使用加权平均数，作为第，个项目 区分属性模式能力的评价指标，其具体计算公式为 南荟 ５ｖ １．３ ＭＧＣＤＩ方法 ＭＭＧＤＩ方法可以有效地解决属性平衡问题， 而ＣＤＩ方法能够很好地处理相似的属性模式，本文 考虑将这２种选题策略相结合，提出ＭＧＤＩ＋ＣＤＩ（简 写为ＭＧＣＤＩ）的混合指标法［５】． 在ＭＭＧＤＩ方法中，ＭＧＤＩ指标计算公式中的 ｑ肪是非０即１的元素，注意到（（ 一 ）／ ）＜ｌ，故 （（ 一 ）／ ） ＞（（ 一 ）／ Ｉ．从而会出现相对于 满足约束条件ｋ的项目，不满足约束条件ｋ的项目更 易被选择【６】．因此提出的新选题策略ＭＧＣＤＩ考虑对 属性平衡指标进行修改，以确保ｑ腑＝１时括号内的 值大于ｑ聃＝０时的值，其具体计算公式为 ＭＧＣＤＩｊ： ∑ （ ， ） ｃ＝ｌ ２ Ｅｈ（￣ｔｉ，５ｃ）一 ＫＬｊ（ ｆ １ ） ｃ＝ｌ ２ 模拟研究 ２．１被试的生成 本文使用６个属性，考虑属性无层级关系，即无 结构型，如图１所示． 田田田田田田 图１无结构型 无结构型的邻接矩阵为零矩阵及可达矩阵 为 ６阶单位阵，由扩张算法 ¨ 得到６行６３列的缩减关 联矩阵Ｑ ，即除零列外其他所有的６行１列的０－ｌ 向量．由 阵可知，若 阵有Ⅳ列，加上全为０ 的列（它表示一个属性都未掌握），则被试的种类为 （２）不含可达矩阵的题库直接从Ｑ卜屁中随机 抽取，直到与含可达矩阵的题库容量相同为止．一 由于无结构型中各个属性是相互的，故测 量每个属性需要的最小项目总数均设定为４． ＋ ２．３测验的构建 ｎ＝、 本文采用ＤＩＮＡ模型，使用２种方式生成项目 参数，一种是失误（ ）参数和猜测 ）参数，均为定值 且ｓ＝０．１０、ｇ＝０．１５，主要是消除项目参数对诊断准确 率的影ｎｌｉ；另一种是失误（ ）和猜测 ）参数均服从均 匀分布ｕ（ｏ．０５，０．２５）． 本文采用定长测验，测验长度设为３０．（１）当 ＝ ０．１０，ｇ＝０．１５时，分别进行以下２个实验：①不含可 达矩阵的题库，按ＭＧＣＤＩ、ＭＭＧＤＩ和ＣＤＩ值最大 选题；②前６个测验项目对应可达矩阵的所有列，后 面的项目按ＭＧＣＤＩ、ＭＭＧＤＩ和ＣＤＩ值最大选题．（２） 当Ｓ和ｇ都服从均匀分布ｕ（ｏ．０５，０．２５）时，分别进行 如上①、②实验．本文采用最大似然估计（ＭＬＥ）方法 估计被试的知识状态． ２．４模拟得分阵 根据ＤＩＮＡ模型的反应函数、被试模拟的真实 知识状态、项目参数真值（失误参数Ｓ和猜测参数 和测验项目模拟得分阵：被试ｉ对项目．，的得分概率 Ｐ，（口 再产生一个随机数 服从（０，１）上的均匀分 布，若 ＜Ｐ／（５ｉ），则被试ｉ在项目Ｊ上得１分，否则 得０分． ２．５评价指标 为了评价测验的诊断准确率，采用以下２个评价 指标：假设ＣＤ．ＣＡＴ共有 个属性且有ＪＶ个被试参 加测验， 是第ｉ个被试的真实知识状态，而 是通 过ＣＤ。ＣＡＴ最终估计出的被试属性模式． （１）模式判准率（ｐａｔｔｅｒｎ ｍａｔｃｈ ｒａｔｉｏ，ＰＭＲ）如果 与 的各个分量都相同，记为ｈｉ＝ｌ，否则记为 Ⅳ ＝ｏ，则模式判准率ＰＭＲ＝ ／Ｎ． ｉ＝１ （２）边际判准率（ｍａｒｇｉｎａｌ ｍａｔｃｈ ｒａｔｅ，ＭＭＲ）分 为单个属性判准率和边际判准率２种．若判准了被 试ｉ的第ｋ个属性，记为ｇ ＝１，否则记为ｇ沂＝０．令 ５５Ｏ 江西师范大学学报（自然科学版） ２０１１拄 Ｎ Ｎ （ ）＝∑ｇ ／Ｎ，ＭＭＲ＝∑ＭＭＲ（ｋ）／Ｋ，分别 况；只讨论Ｋ＝６的情形，而没有讨论其他的情形． ｉ＝１ ｉ＝１ 由于ＣＤ．ＣＡＴ初始阶段选择可达矩阵对应的项目必 称ＭＭＲ（ｋ）、ＭＭＲ为属性ｋ的边际判准率、平均边 然面对这些项目曝光率高的问题，因此，控制项目 际判准率即为边际判准率． 曝光率不均匀是另外一个值得讨论的问题． ３结果及其分析 ５ 参考文献 每种选题策略均重复２０次实验，实验结果如表 【１］Ｇｉｅｒｌ Ｍ Ｊ．Ｍａｋｉｎｇ ｄｉａｇｎｏｓｔｉｃ ｉｎｆｅｒｅｎｃｅｓ ａｂｏｕｔ ｃｏｇｎｉｔｉｖｅ ａｔｔｒｉｂ－ １所示． ｕｔｅｓ ｕｓｉｎｇ ｔｈｅ ｒｕｌｅ－ｓｐａｃｅ ｍｏｄｅｌ ａｎｄ ａｔｔｒｉｂｕｔｅ ｈｉｅｒａｒｃｈｙ ｍｅ￣ｏｄ［Ｊ１． 表１ 不同选题策略下诊断准确率 Ｊｏｕｒｎａｌ ｏｆＥｄｕｃａｔｉｏｎａｌ Ｍｅａｓｕｒｅｍｅｎｔ，２００７，４４（４）：３２５—３４０． ［２］Ｃｈａｎｇ Ｙｉｎｇ．Ｉｍｐｒｏｖｉｎｇ ｃｏｇｎｉｔｉｖｅ ｄｉａｇｎｏｓｔｉｃ ｃｏｍｐｕｔｅｒｉｚｅｄ ａｄａｐ— ｔｉｖｅ ｔｅｓｔｉｎｇ ｂｙ ｂａｌａｎｃｉｎｇ ａｔｔｒｉｂｕｔｅ ｃｏｖｅｒａｇｅ：ｔｈｅ ｍｏｄｉｉｆｅｄ ｍａｘｉ— ｍｕｍ ｇｌｏｂａｌ ｄｉｓｃｒｉｍｉｎａｔｉｏｎ ｉｎｄｅｘ ｍｅｔｈｏｄ【ｊ］．Ｅｄｕｃａｔｉｏｎａｌ ａｎｄ Ｐｓｙｃｈｏｌｏｇｉｃａｌ Ｍｅａｓｕｒｅｍｅｎｔ，２０１０，７Ｏ（６）：９０２—９１３． 【３】Ｘｕ ｘｕｅｌｉ，Ｃｈａｎｇ ｈｕａｈｕａ，Ｊｅｆｆ Ｄｏｕｇｌａｓ．Ａ ｓｉｍｕｌａｔｉｏｎ ｓｔｕｄｙ ｏｎ ｃｏｍｐａｒｅ ＣＡＴ ｓｔｒａｔｅｇｉｅｓ ｆｏｒ ｃｏｇｎｉｔｉｖｅ ｄｉａｇｎｏｓｉｓ【ＥＢ／ＯＬ］． ［２０１ １－０４—１２］．ｈｔｔｒｌ：／／ｗｗｗ．ｐｓｙｃｈ．ｕｍｎ．ｅｄｕ／ｐｓｙｌａｂｓ／ｃａｔｃｅｎｔｒａｌ／ｔ）ｄＷｏ ２０ｆｉｌｅｓ／ｘｕ０３—０１．ｐｄｆ． 【４］Ｈｅｎｓｏｎ Ｒ，Ｄｏｕｇｌａｓ Ｊ．Ｔｅｓｔ Ｃｏｎｓｔｒｕｃｔｉｏｎ ｆｏｒ ｃｏｇｎｉｔｉｖｅ ｄｉａｇｎｏｓｉｓ ［Ｊ】．Ａｐｐｌｉｅｄ Ｐｓｙｃｈｏｌｏｇｉｃａｌ Ｍｅａｓｕｒｅｍｅｎｔ，２００５，２９：２６２—２７７． 【５］潘奕娆．改进的最大优先指标及在计算机化自适应诊断测验 中的应用［Ｄ］．南昌：江西师范大学，２０１１． ［６潘奕娆，丁树良，尚志勇．改进的最大优先指标方法［６］Ｊ１．江 西师范大学学报：自然科学版，２０１ｌ，３５（２）：２１３．２１５． ［７］杨淑群，蔡声镇，丁树良，等．简化Ｑ矩阵的扩张算法【Ｊ］．兰 从以上表中可以看出，在相同测验条件下，新的 州大学学报：自然科学版，２００８，４４（３）：８７—９１． 方法ＭＧＣＤＩ的诊断准确率均高于ＭＭＧＤＩ和ＣＤＩ方 ［８］丁树良，杨淑群，汪文义．可达矩阵在认知诊断测验编制中的 重要作用［Ｊ】＿江西师范大学学报：自然科学版，２０１０，３４（５）： 法，而对于同一种选题策略使用可达矩阵对应的项目 ４９０—４９４． 的诊断准确率均高于不使用可达矩阵对应的项目． ［９］Ｓｈｉｇｅｍａｓｕ Ｋ，Ｏｋａｄａ Ａ，Ｉｍａｉｚｕｍｉ ｅｔ ａ１．Ｎｅｗ￣ｅｎｄｓ ｉｎ ｐｓｙ— ｃｈｏｍｅｔｒｉｃｓ［Ｃ］．Ｔｏ１（ｙｏ：Ｕｎｉｖｅｒｓａｌ Ａｃａｄｅｍｙ，２００８． ４ 讨论 ［１Ｏ］吴智辉，甘登文，丁树良．可达阵列在认知诊断选题策略中的 运用［ＪｌＪ．江西师范大学学报：自然科学版，２０１ｌ，３５（４）： ４２２—４２６． 本文只讨论了选题策略在无结构型下诊断准确 【１１】丁树良，汪文义，杨淑群．认知诊断测验蓝图的设计ｌＪ１．心 率的优劣，并没有讨论在其他属性层级结构下的情 理科学，２０１１，３４（２）：２５８—２６５． Ａ Ｎｅｗ Ｉｔｅｍ Ｓｅｌｅｃｔｉｏｎ Ｓｔｒａｔｅｇｙ ｏｆ Ｃｏｍｐｕｔｅｒｉｚｅｄ Ａｄａｐｔｉｖｅ Ｔｅｓｔｉｎｇ ｗｉｔｈ Ｃｏｇｎｉｔｉｖｅ Ｄｉａｇｎｏｓｉｓ ＹＵ Ｄａｎ，ＰＡＮ Ｙｉ—ｒａｏ，ＤＩＮＧ Ｓｈｕ—ｌｉａｎｇ ，ＹＡＮＧ Ｑｉｎｇ．ｈｏｎｇ （Ｃｏｌｌｅｇｅ ｏｆ Ｃｏｍｐｕｔｅｒ Ｉｎｆｏｒｍａｔｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｊｉａｎｇｘｉ Ｎｏｒｍａｌ Ｕｎｉｖｅｒｓｉｔｙ，Ｎａｎｃｈａｎｇ Ｊｉａｎｇｘｉ ３３００２２，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｈｉｓ ｓｔｕｄｙ ｐｕｔｓ ｆｏｒｗａｒｄ ａ ｎｅｗ ｍｅｔｈｏｄ ｎａｍｅｄ ＭＧＣＤＩ．ｗｈｉｃｈ ｃｏｍｂｉｎｅｓ ｍｏｄｉｆｉｅｄ ＭＭＧＤ１ ｗｉｔｈ ＣＤＩ．Ｉｔ ｃａｎ ｂｏｔｈ ｍｅｅｔ ｂａｌａｎｃｉｎｇ ａｔｔｒｉｂｕｔｅ ｃｏｖｅｒａｇｅ ａｎｄ ｄｅａｌ ｗｉｔｈ ｓｉｍｉｌａｒ ａｔｔｒｉｂｕｔｅ ｐａｔｔｅｒｎｓ ｅｆｆｅｃｔｉｖｅｌｙ．Ｔｈｉｓ ｓｔｕｄｙ ａｔｔｅｍｐｔｓ ｔｏ ｃｏｎｓｔｒｕｃｔ ａ ｎｅｗ ｉｔｅｍ ｓｅｌｅｃｔｉｏｎ ｓｔｒａｔｅｇｙ ｏｆ ＣＤ—ＣＡＴ ｗｉｔｈ ｆｉｘｅｄ ｌｅｎｇｔｈ ｕｎｄｅｒ ｔｈｅ ｕｎｓｔｒｕｃｔｕｒｅｄ ｈｉｅｒａｒｃｈｙ．Ａｎｄ Ｍｏｎｔｅ Ｃａｒｌｏ ｓｉｍｕｌａｔｉｏｎ ｉＳ ｉｍｐｌｅｍｅｎｔｅｄ ｔｏ ｃｏｍｐａｒｅ ｔｈｅ ｄｉａｇｎｏｓｔｉｃ ａｃｃｕｒａｃｙ ｏｆ ｔｈｒｅｅ ｉｔｅｍ ｓｅｌｅｃｔｉｏｎ ｓｔｒａｔｅｇｉｅｓ ｉｎ ｔｈｅ ｂａｎｋ ｗｉｔｈ ｏｒ ｗｉｔｈｏｕｔ ｉｎｃｌｕｄｉｎｇ ｔｈｅ ｒｅａｃｈａｂｉｌｉｔｙ ｍａｔｒｉｘ．Ｓｉｍｕｌａｔｉｏｎ ｒｅｓｕｌｔｓ ｉｎｄｉｃａｔｅｄ ｔｈａｔ ｔｈｅ ｎｅｗ ｗａｙ ｓｅｌｅｃｔｓ ｔｈｅ ｉｔｅｍｓ ｆｒｏｍ ｔｈｅ ｒｅａｃｈａｂｉｌｉｔｙ ｍａｔｒｉｘ ａｓ ｓｔａｒｔｉｎｇ ｐｏｉｎｔ．ａｎｄ ｔｈｅｎ ｏｔｈｅｒ ｉｔｅｍｓ ｆｒｏｍ ｔｈｅ ｂａｎｋ ｉｎｃｌｕｄｉｎｇ ｔｈｅ ｒｅａｃｈａｂｉｌｉｔｙ ｍａｔｒｉｘ ｗｉｔｈ ｍａｘｉｍｉｚｉｎｇ ＭＧＣＤＩ．ＭＭＧＤＩ ｏｒ ＣＤＩ，ｔｈｅ ｄｉａｇｎｏｓｔｉｃ ａｃｃｕｒａｃｙ ｏｆ ｗｈｉｃｈ ｉＳ ｈｉｇｈｅｒ ｔｈａｎ ｓｅｌｅｃｔｉｎｇ ａｌｌ ｉｔｅｍｓ ｆｒｏｍ ｔｈｅ ｂａｎｋ ｗｉｔｈｏｕｔ ｉｎｃｌｕｄｉｎｇ ｔｈｅ ｒｅａｃｈａｂｉｌｉｔｙ ｍａｔｒｉｘ ｗｉｔｈ ｍａｘｉｍｉｚｉｎｇ ＭＧＣＤＩ．ＭＭＧＤＩ ｏｒ ＣＤＩ．Ｉｎ ｆｕｔｕｒｅ ｓｔｕｄｙ．ｈｏｗ ｔｏ ｃｏｎｔｒｏｌ ｔｈｅ ｎｏｎ．ｕｎｉｆｏｒｍ ｅｘｐｏｓｕｒｅ ｉｓ ＷＯｒｔｈ ｃｏｎｓｉｄｅｒ．Ｉｔ ｗｉｌｌ ｂｅ ａｎ ｉｎｔｅｒｅｓｔｉｎｇ ｔｏｐｉｃ． Ｋｅｖ ｗｏｒｄｓ：ＣＤ．ＣＡＴ；ｉｔｅｍ ｓｅｌｅｃｔｉｏｎ ｓｔｒａｔｅｇｙ；ｒｅａｃｈａｂｉｌｉｔｙ ｍａｔｒｉｘ；ｄｉａｇｎｏｓｔｉｃ ａｃｃｕｒａｃｙ （责任编辑：冉小晓）
