本文關(guān)鍵詞：認(rèn)知診斷評價(jià)中測驗(yàn)屬性界定及診斷模型開發(fā)研究

  更多相關(guān)文章： 認(rèn)知診斷評價(jià) 屬性 粒度 Q矩陣 診斷模型 補(bǔ)償作用

【摘要】：認(rèn)知診斷評價(jià)是一種新興的測驗(yàn)形式,它可以根據(jù)被試在具有診斷功能的項(xiàng)目上的作答推斷其潛在的知識(shí)狀態(tài)。因此,相對于傳統(tǒng)形式的測驗(yàn),認(rèn)知診斷評價(jià)對被試的學(xué)習(xí)、教師的教學(xué)、教學(xué)質(zhì)量的考核和教學(xué)資源的分配等能提供更多的參考信息。認(rèn)知診斷評價(jià)已經(jīng)引起社會(huì)的廣泛關(guān)注,我國的國家中長期教育發(fā)展規(guī)劃綱要(2010-2020)中就明確提到要“注重因材施教,關(guān)注學(xué)生不同特點(diǎn)和個(gè)性差異,發(fā)展每一個(gè)學(xué)生的優(yōu)勢潛能,……,改革教育質(zhì)量評價(jià)和人才評價(jià)制度”,要想施行因材施教,就必須深入了解學(xué)生的不同特點(diǎn)和個(gè)性差異,了解學(xué)生在知識(shí)掌握上的優(yōu)勢和不足,而這正是認(rèn)知診斷評價(jià)的優(yōu)勢所在。要想實(shí)行認(rèn)知診斷評價(jià),有許多關(guān)鍵的問題需要解決。本文從實(shí)際應(yīng)用的角度出發(fā),主要關(guān)注其中的三個(gè)問題,圍繞核心研究對象“屬性”,為促進(jìn)診斷測驗(yàn)的應(yīng)用和大規(guī)模實(shí)施而展開。第一個(gè)問題是項(xiàng)目屬性向量的定義(或稱項(xiàng)目屬性向量的界定),它包括兩部分內(nèi)容:對已界定項(xiàng)目的屬性向量的驗(yàn)證和對未界定項(xiàng)目的屬性向量的定義,通常情況下,這兩部分內(nèi)容主要是通過學(xué)科專家、測量專家等根據(jù)知識(shí)或經(jīng)驗(yàn)共同界定;第二個(gè)問題是屬性的粒度對于認(rèn)知診斷評價(jià)的影響;第三個(gè)問題是認(rèn)知診斷模型的開發(fā)與使用。對于第一個(gè)問題,目前主要使用的還是主觀定義的方法,容易受到專家知識(shí)和個(gè)人經(jīng)驗(yàn)的影響,經(jīng)常會(huì)出現(xiàn)不同專家所界定的結(jié)果不一致,多個(gè)專家之間會(huì)出現(xiàn)爭議的情況。比如,著名的“分?jǐn)?shù)減法”(Tatsuoka,1983)數(shù)據(jù),直到今天,其屬性界定和Q矩陣界定仍然存在爭議。De Carlo(2011,2012)也提到,認(rèn)知診斷評價(jià)中的屬性定義是一件非常困難的事情,項(xiàng)目屬性的界定過程容易出現(xiàn)屬性不確定或錯(cuò)誤的情況;對于第二和第三個(gè)問題,也都是圍繞“屬性”而展開,共同來促進(jìn)認(rèn)知診斷評價(jià)的實(shí)際應(yīng)用。本文中的三個(gè)問題之間是相互關(guān)聯(lián)的,第一個(gè)問題得不到很好的解決,就導(dǎo)致第二和第三個(gè)問題也得不到很好的解決,項(xiàng)目屬性向量的定義會(huì)涉及到屬性粒度的選擇,認(rèn)知診斷模型的選擇需要基于測驗(yàn)屬性及其關(guān)系的定義,因此就有可能會(huì)出現(xiàn)診斷模型誤用的情況。正是基于認(rèn)知診斷評價(jià)中存在的這些問題的理解和認(rèn)識(shí),結(jié)合目前國內(nèi)外的研究現(xiàn)狀,本文從實(shí)際應(yīng)用的角度,開展了四項(xiàng)研究。研究一:基于統(tǒng)計(jì)量的Q矩陣估計(jì)算法的改進(jìn),它包括3個(gè)部分的內(nèi)容。(1)Liu,Xu和Ying在2012年提出了基于作答數(shù)據(jù)的Q矩陣推導(dǎo)方法,在模擬研究下,該方法有很高的Q矩陣估計(jì)成功率,是一種客觀的推導(dǎo)Q矩陣的方法。由于Liu等的方法中有較多的假設(shè),限制了該方法在實(shí)際中的使用,考慮解除部分假設(shè),實(shí)行Q矩陣,項(xiàng)目參數(shù)的聯(lián)合估計(jì);進(jìn)一步,解除Liu等在方法中把被試總體分布當(dāng)做已知的假設(shè),實(shí)行Q矩陣,項(xiàng)目參數(shù)和被試總體分布的聯(lián)合估計(jì)。(2)第(1)個(gè)研究中,需要以一個(gè)較好的“初始Q矩陣”(即專家事先界定的Q矩陣中只包含少量的錯(cuò)誤)作為基礎(chǔ),但在實(shí)際的應(yīng)用中,有時(shí)未必能滿足,因此,本研究基于少部分被正確界定的項(xiàng)目,實(shí)行Q矩陣、項(xiàng)目參數(shù)的在線估計(jì);進(jìn)一步,實(shí)行Q矩陣、項(xiàng)目參數(shù)和被試總體分布的在線估計(jì)。相對于(1),(2)的優(yōu)勢是不需要以一個(gè)較好的Q矩陣作為基礎(chǔ),這在實(shí)際應(yīng)用中特別適合于題庫的建設(shè),可以通過已界定的項(xiàng)目對需要入庫的新項(xiàng)目進(jìn)行界定,它能同時(shí)估計(jì)項(xiàng)目的參數(shù)和屬性向量,并且能保證所有項(xiàng)目的參數(shù)處在相同的量尺上。(3)目前大多關(guān)于認(rèn)知診斷評價(jià)的研究都假定測驗(yàn)的屬性個(gè)數(shù)定義正確,但是實(shí)際上,這在實(shí)際應(yīng)用中也很容易出錯(cuò),比如對于著名的“分?jǐn)?shù)減法數(shù)據(jù)”,研究者們就分別按8個(gè)屬性和5個(gè)屬性進(jìn)行分析過。本研究考察Q矩陣缺少一個(gè)必需的屬性或多余一個(gè)額外的屬性時(shí),Q矩陣估計(jì)算法的表現(xiàn)。無論事先界定的Q矩陣的質(zhì)量是好還是壞,(1)或(2)可以很好的解決,一方面,可以對新項(xiàng)目的屬性進(jìn)行界定,另一方面也可以對已界定的項(xiàng)目的屬性進(jìn)行驗(yàn)證。但是(1)和(2)存在的問題是算法中采用的統(tǒng)計(jì)量涉及到的計(jì)算量很大,特別是當(dāng)屬性個(gè)數(shù)、項(xiàng)目個(gè)數(shù)較大時(shí),算法可能無法在短時(shí)間內(nèi)輸出結(jié)果。因此,研究二構(gòu)建了新的Q矩陣統(tǒng)計(jì)量,使得Q矩陣的估計(jì)可以在較短的時(shí)間內(nèi)完成,并且有較高的估計(jì)成功率。研究二:受項(xiàng)目反應(yīng)理論中的項(xiàng)目擬合統(tǒng)計(jì)量似然比2的啟發(fā),構(gòu)建了認(rèn)知診斷框架下的項(xiàng)目屬性擬合統(tǒng)計(jì)量2,它不但可以實(shí)行Q矩陣、項(xiàng)目參數(shù)的聯(lián)合估計(jì),而且可以實(shí)行Q矩陣、項(xiàng)目參數(shù)的在線估計(jì)。相對于研究一,基于2的Q矩陣估計(jì)方法可以在更短的時(shí)間內(nèi)完成,對樣本的要求更低,并且有很高的估計(jì)成功率,另外2統(tǒng)計(jì)量的一個(gè)突出的優(yōu)點(diǎn)是不需要事先確定被試的屬性掌握模式分布。研究三:屬性的粒度會(huì)影響到測驗(yàn)藍(lán)圖的設(shè)計(jì),進(jìn)一步會(huì)影響診斷測驗(yàn)的分類準(zhǔn)確率和分類效率。本研究主要考察屬性粒度和屬性間不同程度的相關(guān)對于被試分類的影響,研究了測驗(yàn)采用較“粗”粒度的Q矩陣和較“細(xì)”粒度的Q矩陣時(shí),對被試的模式判準(zhǔn)率、屬性的平均判準(zhǔn)率等的影響,為實(shí)際應(yīng)用中選擇Q矩陣提供參考。研究四:由于在實(shí)際的應(yīng)用中,屬性之間的關(guān)系是非常難于界定的,而目前已有的認(rèn)知診斷模型大多基于屬性間的某種特定關(guān)系構(gòu)建的。因此,當(dāng)選用的模型與屬性間的實(shí)際關(guān)系不符時(shí),就會(huì)出現(xiàn)模型和數(shù)據(jù)的擬合較差,降低診斷測驗(yàn)的分類準(zhǔn)確率和測驗(yàn)結(jié)果提供的參考價(jià)值。本研究通過增加一個(gè)可以描述項(xiàng)目的屬性間關(guān)系的參數(shù),將項(xiàng)目屬性間的補(bǔ)償關(guān)系所導(dǎo)致的作答效應(yīng)納入到模型中,使得模型有更好的適應(yīng)性。新構(gòu)建的模型不但可以處理項(xiàng)目的屬性間是非補(bǔ)償作用的情況,而且可以處理完全補(bǔ)償、部分補(bǔ)償?shù)那闆r。并且更重要的是,在實(shí)際應(yīng)用中,不需要事先確定屬性間的關(guān)系,通過模型參數(shù)就可以了解項(xiàng)目屬性間的關(guān)系以及大小。相對于已有的模型,新模型在不同類型的測驗(yàn)數(shù)據(jù)中,有更好的適應(yīng)性。
【關(guān)鍵詞】：認(rèn)知診斷評價(jià) 屬性 粒度 Q矩陣 診斷模型 補(bǔ)償作用
【學(xué)位授予單位】：江西師范大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2015
【分類號(hào)】：B842
【目錄】：

• 摘要3-6
• ABSTRACT6-17
• 前言17-19
• 第一部分 文獻(xiàn)綜述19-44
• 1.1 認(rèn)知診斷評價(jià)19-27
• 1.1.1 認(rèn)知診斷評價(jià)的目的21
• 1.1.2 認(rèn)知模型21-24
• 1.1.3 屬性的粒度24-25
• 1.1.4 矩陣25-26
• 1.1.5 矩陣?yán)碚?/span>26-27
• 1.2 認(rèn)知診斷模型27-31
• 1.2.1 DINA模型27-28
• 1.2.2 DINO模型28-29
• 1.2.3 HO-DINA模型29-30
• 1.2.4 RUM模型30-31
• 1.3 Q矩陣的估計(jì)31-44
• 1.3.1 δ方法32-33
• 1.3.2 基于統(tǒng)計(jì)量的矩陣估計(jì)33-35
• 1.3.3 方法35-37
• 1.3.3.1 基于法的修正指標(biāo)36
• 1.3.3.2 法的步驟36-37
• 1.3.4 貝葉斯方法37-40
• 1.3.4.1 采用MCMC方法估計(jì)部分元素37
• 1.3.4.2 識(shí)別Q矩陣中不確定的元素37-38
• 1.3.4.3 非線性懲罰的方法38-39
• 1.3.4.4 采用MCMC方法探索Q矩陣39-40
• 1.3.5 聯(lián)合估計(jì)算法40-41
• 1.3.6 無監(jiān)督學(xué)習(xí)和有監(jiān)督學(xué)習(xí)方法41-44
• 1.3.6.1 極大似然估計(jì)方法42
• 1.3.6.2 邊際極大似然估計(jì)方法42
• 1.3.6.3 交差方法42-44
• 第二部分 問題提出與研究總體設(shè)計(jì)44-54
• 2.1 已有Q矩陣估計(jì)算法的特點(diǎn)44-45
• 2.2 屬性粒度對認(rèn)知診斷評價(jià)影響的研究45-46
• 2.3 屬性間的補(bǔ)償關(guān)系及診斷模型研究46-48
• 2.4 本文欲探討的具體問題48-51
• 2.4.1 基于統(tǒng)計(jì)量的Q矩陣估計(jì)算法改進(jìn)48-49
• 2.4.2 基于似然比統(tǒng)計(jì)量的矩陣估計(jì)49-50
• 2.4.3 屬性粒度和屬性關(guān)系對CDA分類的影響50-51
• 2.4.4 屬性間的補(bǔ)償關(guān)系及診斷模型研究51
• 2.5 本文的研究內(nèi)容51-52
• 2.6 本文的研究意義52
• 2.7 本文的創(chuàng)新之處52-54
• 第三部分 實(shí)驗(yàn)研究54-138
• 3.1 研究一基于統(tǒng)計(jì)量的矩陣估計(jì)算法改進(jìn)54-73
• 3.1.1 研究目的54-55
• 3.1.2 研究方法55-63
• 3.1.2.1 項(xiàng)目屬性向量界定錯(cuò)誤時(shí)的Q矩陣估計(jì)55-57
• 3.1.2.2 測驗(yàn)屬性個(gè)數(shù)界定錯(cuò)誤時(shí)的Q矩陣估計(jì)57-63
• 3.1.3 實(shí)驗(yàn)設(shè)計(jì)63-70
• 3.1.3.1 數(shù)據(jù)模擬63-65
• 3.1.3.2 評價(jià)指標(biāo)65-66
• 3.1.3.3 研究結(jié)果66-70
• 3.1.4 研究結(jié)論70-71
• 3.1.5 討論71-73
• 3.2 研究二基于似然比統(tǒng)計(jì)量的矩陣估計(jì)73-88
• 3.2.1 研究目的73
• 3.2.2 研究方法73-81
• 3.2.2.1 IRT下的模型擬合度評價(jià)方法74
• 3.2.2.2 使用統(tǒng)計(jì)量來估計(jì)項(xiàng)目屬性向量和矩陣74-81
• 3.2.3 實(shí)驗(yàn)設(shè)計(jì)81-86
• 3.2.3.1 數(shù)據(jù)模擬81-82
• 3.2.3.2 研究結(jié)果82-86
• 3.2.4 研究結(jié)論86-87
• 3.2.5 討論87-88
• 3.3 研究三屬性粒度和屬性關(guān)系對CDA分類的影響88-114
• 3.3.1 研究目的88
• 3.3.2 研究方法88-89
• 3.3.2.1 屬性粒度及其對的影響88-89
• 3.3.2.2 評價(jià)指標(biāo)89
• 3.3.3 實(shí)驗(yàn)設(shè)計(jì)89-112
• 3.3.3.1 數(shù)據(jù)的模擬90-91
• 3.3.3.2 所有測驗(yàn)屬性間有相近的相關(guān)91-100
• 3.3.3.3 0個(gè)屬性間相關(guān)較高，，1? 0個(gè)屬性間相關(guān)相近且較低100-112
• 3.3.4 討論112-114
• 3.4 研究四屬性間的補(bǔ)償關(guān)系及診斷模型研究114-138
• 3.4.1 研究目的115
• 3.4.2 研究方法115-122
• 3.4.2.1 HDINA模型及其識(shí)別115
• 3.4.2.2 HDINA模型的構(gòu)建115-117
• 3.4.2.3 HDINA模型的假設(shè)117-118
• 3.4.2.4 HDINA和DINA、DINO的關(guān)系118-120
• 3.4.2.5 HDINA 模型的參數(shù)估計(jì)120-122
• 3.4.3 實(shí)驗(yàn)設(shè)計(jì)122-135
• 3.4.3.1 HDINA模型的參數(shù)估計(jì)精度和分類研究122-125
• 3.4.3.2 DINA、DINO和HDINA模型交叉分類比較125-126
• 3.4.3.3 三種模型與數(shù)據(jù)的交叉擬合比較126-132
• 3.4.3.4 采用HDINA模型分析“分?jǐn)?shù)減法”數(shù)據(jù)132-135
• 3.4.4 研究結(jié)論135-136
• 3.4.5 討論136-138
• 第四部分 綜合討論138-143
• 4.1 基于統(tǒng)計(jì)量的Q矩陣、項(xiàng)目參數(shù)和被試屬性掌握模式估計(jì)138-140
• 4.1.1 聯(lián)合估計(jì)138
• 4.1.2 在線估計(jì)138-139
• 4.1.3 屬性個(gè)數(shù)存在錯(cuò)誤時(shí)的Q矩陣估計(jì)139
• 4.1.4 存在的局限性139-140
• 4.2 基于D~2統(tǒng)計(jì)量的Q矩陣、項(xiàng)目參數(shù)和被試屬性掌握模式估計(jì)140-141
• 4.2.1 聯(lián)合估計(jì)140
• 4.2.2 在線估計(jì)140
• 4.2.3 存在的局限性140-141
• 4.3 屬性粒度對認(rèn)知診斷分類的影響141
• 4.3.1 屬性粒度與認(rèn)知診斷分類141
• 4.3.2 存在的局限性141
• 4.4 屬性間的補(bǔ)償關(guān)系及診斷模型研究141-143
• 4.4.1 HDINA模型141-142
• 4.4.2 存在的局限性142-143
• 第五部分 綜合結(jié)論143-145
• 參考文獻(xiàn)145-153
• 附錄A153-158
• 附錄B158-161
• 附錄C161-164
• 附錄D164-168
• 附錄E168-172
• 致謝172-173
• 在讀期間公開發(fā)表論文（著）及科研情況173-175

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前1條

1 丁樹良;毛萌萌;汪文義;羅芬;;教育認(rèn)知診斷測驗(yàn)與認(rèn)知模型一致性的評估[J];心理學(xué)報(bào);2012年11期

中國博士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 楊淑群;基于屬性層次結(jié)構(gòu)的FCA及其在認(rèn)知診斷中的應(yīng)用研究[D];南京航空航天大學(xué);2009年

本文編號(hào)：673787