近期,澳门新葡萄新京威尼斯987王立君教授和詹沛达副教授团队在国内心理学顶刊《心理学报》(CSSCI)合作发表了题为《联合作答精度和作答时间的概率态认知诊断模型》的学术论文。我院2019级硕士研究生田亚淑是论文的第一作者,詹沛达副教授和王立君教授为本文的共同通讯作者。该研究得到了国家自然科学基金青年基金项目(31900795)的资助。
论文来源:田亚淑, 詹沛达,王立君. (2023). 联合作答精度和作答时间的概率态认知诊断模型. 心理学报, 55(9), 1573-1586.
文章链接:https://doi.org/10.3724/SP.J.1041.2023.01573
内容简介
认知诊断测评将属性大致分为两种:确定态属性(deterministic attribute)和概率态属性(probabilistic attribute)。与前者相比,概率态属性能更精细地区分被试间的个体差异(詹沛达, 田亚淑 等, 2020);尤其是在描述被试发展情况时,基于概率态属性的反馈比基于确定态属性的反馈更精细地反映学生的发展变化(Zhan, 2021),更有益于肯定学生的努力。然而,现有的概率态CDM仅能分析单一模态数据——题目作答精度(response accuracy, RA),忽略了题目作答时间(response times, RTs)这种有代表性的过程数据。RT指被试作答每道题目花费的时间,可以反映被试的(潜在)加工速度;额外引入RT的分析有助于提高被试参数估计的精度(Bolsinova & Tijmstra, 2018; Zhan, Jiao, & Liao, 2018)、识别被试的异常作答行为(Wang & Xu, 2015)、探索被试的认知风格(如, Yan, 2010)、丰富诊断反馈所包含的信息(Zhan et al., 2022)等。
为了解决这一问题,研究一将概率态CDM引入联合−层级认知诊断建模框架(Zhan, Jiao, & Liao, 2018)构建可联合分析RA和RT的联合−层级概率态CDM(JRT-PINC)。JRT-PINC包含两层模型。第一层为测量模型,其中RA模型采用HO-PINC,RT模型采用LRTM;第二层为结构模型,包含用于描述能力和加工速度之间关系的和用于描述题目参数之间相依性的两个多元正态分布。模拟研究包括4个自变量:样本量、题目数量、能力与加工速度的相关系数,以及数据分析模型。结果表明所有模拟条件下各参数的返真性均表现较好,并且结果还表明额外引入RT所包含信息确实有助于提高能力参数的估计精度。
基于联合−层级认知诊断建模框架所构建的JRT-PINC至少需要满足5个条件独立性假设才能够合理、准确地对数据进行分析和解释,而有研究发现实际测验中存在违背上述假设的情况。因此,为了使模型更符合实际测验的情境,进一步促进对核心特质(即能力)的估计精度,研究二释放了JRT-PINC的部分条件独立性假设(图1中b或c)构建联合−交叉负载概率态CDM(CJRT-PINC)。构建了两个子模型[CJRT-PINC-θ(图2b)和CJRT-PINC-m(图2c)]进行研究。模拟研究自变量为交叉负载,结果显示在不同模拟条件下模型参数的返真性良好,均优于不考虑RT的HO-PINC的。研究三交叉比较了JRT-PINC和两个CJRT-PINC的表现,结果表明忽略可能存在的交叉负载所导致的负面结果比冗余考虑存在交叉负载所导致的更严重,即CJRT-PINC对测验情境的兼容性优于JRT-PINC;且CJRT-PINC-θ的普适性相对于CJRT-PINC-m更高。
实证研究以PISA 2012年计算机化数学测验数据为例,对比探究了三个新模型与联合确定态模型(JRT-DINA)和仅分析RA的概率态模型(HO-PINC)的表现。结果表明:(1)基于概率态属性的三个联合模型对数据的拟合均优于基于确定态属性的JRT-DINA的,且基于联合−交叉负载建模框架的两个CJRT-PINC对数据的拟合优于基于联合−层级建模框架的JRT-PINC;(2)基于概率态属性的两个模型比基于确定态属性的JRT-DINA能更精细地反馈出学生对属性的掌握情况及个体差异性;(3)考虑RT信息的联合模型均可以提供有关加工速度的估计值,丰富了反馈报告的内容。
主要作者简介
田亚淑,澳门新葡萄新京威尼斯9872019级硕士研究生,研究方向为发展与教育心理学。2022届浙江省优秀毕业生,连续两年获得校一等奖学金,学术创新优秀奖等荣誉称号;在《心理科学》和《心理学报》发表学术论文2篇。
詹沛达,博士,澳门新葡萄新京威尼斯987副教授。主要研究领域为心理计量学,研究方向为心理与教育行为数据的潜变量建模与应用。在Psychometrika、Behavior Research Methods、British Journal of Mathematical and Statistical Psychology、Journal of Educational and Behavioral Statistics、Applied Psychological Measurement、Educational and Psychological Measurement和《心理学报》等专业期刊发表学术论文60余篇。主持国自然、教育部人文社科和浙江省哲社规划课题等项目。
王立君,博士,澳门新葡萄新京威尼斯987教授。主要研究领域为心理与教育测量,研究主题涉及概念图、积极情绪对学习记忆的促进、金钱奖赏与社会奖赏、概念图促进学习的探索、运动促进积极情绪与认知的探索、突破刻板印象促进成长和学科能力发展等。在《心理学报》、BMC Psychiatry和《心理科学》等期刊发表学术论文30余篇。