本文關鍵詞：層級一致性指標的多級評分拓展

  更多相關文章： 認知診斷 多級計分數(shù)據(jù) 層級一致性指標 個人擬合指標

【摘要】：認知診斷評估(Cognitive Diagnosis Assessment, CDA)以反應學生認知過程的認知模型為基礎,對個體的認知過程、知識結構進行診斷評估。CDA中認知模型準確、合理至關重要,直接影響認知診斷的準確性。目前,關于認知模型合理性驗證的指標均針對0-1計分數(shù)據(jù),而面對多級計分測驗情境,研究者往往將其轉換為0-1計分,這會損失部分信息造成對認知模型不精確的評價。據(jù)此,本研究將0-1計分層級一致性指標(Hierarchy Consistency Index, HCI)拓展為多級計分層級一致性指標(Generalized Hierarchy Consistency Index, GHCI),并探討了GHCI的穩(wěn)定性與精確性。研究分為5個子研究。研究1拓展了層級一致性指標,并針對不同得分情況說明GHCI的可行性、采用具體例子說明GHCI特點。研究2通過模擬研究將GHCI、不同轉換比例下的HCI進行比較,并說明HCI在多級計分中隨轉換比例的變化。研究3通過模擬研究探討GHCI對不同層級結構錯誤(錯層、顛倒、有變無、無變有)的靈敏性。研究4通過模擬研究探討GHCI對被試不同類型異常反應的靈敏性。研究5采用GHCI分析小學數(shù)學應用題問題解決中認知模型的合理性并檢測異常反應被試,以說明GHCI在教育實踐中的適用性。具體研究結果如下：(1)本研究對GHCI的拓展是可行的、合理的。GHCI針對多級計分的不同得分情況是可行的,可用于混合計分數(shù)據(jù)。GHCI較HCI具有一定的優(yōu)勢,對被試反應的評價更細致和準確。(2)對各屬性層級結構下多級計分數(shù)據(jù)的模擬中,GHCI均值顯著大于各種轉換比例下的HCI均值,HCI低估了被試數(shù)據(jù)與認知模型的一致性。HCI受到轉換比例的影響。隨轉換比例的提高,不同屬性層級結構中HCI變化情況各不相同。(3) GHCL對層級關系錯誤具有靈敏性。針對不同類型的層級關系錯誤,GHCI均表現(xiàn)出隨著錯誤程度的加深,其均值的降幅逐漸增大。GHCI;對不同類型的層級關系錯誤的靈敏性不同：在層級關系錯層、屬性顛倒、層級關系無變有的誤設中GHCI均值隨著誤設程度的加深,降幅明顯增加；在層級關系有變無中GHCI均值降幅均較小,對其靈敏性較其他類型層級關系錯誤較差。(4) GHCI. HCI對異常反應的靈敏性各有優(yōu)勢。GHCI對創(chuàng)造性反應的檢出率更高,HCI對層級結構錯誤造成的異常反應的檢出率更高。GHCI、HCI的檢出率均隨著測驗長度的增加而上升。GHCI、HCI對創(chuàng)造性反應上檢出率隨區(qū)分度的降低逐漸下降,對層級錯誤造成的異常反應的檢出率隨區(qū)分度的降低,在不同項目個數(shù)中變化趨勢各不相同。(5)實證研究中,小學數(shù)學應用題問題解決的GHCI均值為.757,大于其截斷值,驗證了該層級結構合理,能夠反應學生應用題問題解決的認知規(guī)律。作為個人擬合指標,GHCI的截斷值波動范圍較小,更穩(wěn)定。GHCI、HCI檢出的異常反應被試各不相同。(6)實證研究中HCI隨轉換比例的增大,其均值逐漸下降。GHCI顯著大于100%轉換比例下HCI。HCI估了大部分學生作答狀況與期望作答模式的一致性和屬性層級結構合理性。GHCI對被試反應模式與期望模式的一致性的評價更細致。
【關鍵詞】：認知診斷 多級計分數(shù)據(jù) 層級一致性指標 個人擬合指標
【學位授予單位】：浙江師范大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：B842.1
【目錄】：

• 摘要3-5
• ABSTRACT5-14
• 1 文獻綜述14-27
• 1.1 認知診斷評估14-15
• 1.2 認知診斷評估的過程15-16
• 1.3 認知診斷評估診斷與分類精確性的影響因素16-22
• 1.3.1 測驗因素16-20
• 1.3.2 被試因素20-21
• 1.3.3 模型因素21-22
• 1.4 屬性層級一致性的驗證方法22-25
• 1.4.1 層級一致性指標22-24
• 1.4.2 個人擬合指標24-25
• 1.5 考試改革與多級評分模型25-27
• 2 問題提出與研究設計27-31
• 2.1 問題提出27-28
• 2.1.1 屬性層級一致性指標：僅限于0-1評分情境27
• 2.1.2 考試改革的推行：考試形式和評分方式日趨多樣化27-28
• 2.1.3 屬性層級不擬合的原因：認知模型缺陷?或個體反應偏差?28
• 2.2 研究設計28-29
• 2.3 研究意義29-31
• 3 研究一：層級一致性指標的多級評分拓展31-39
• 3.1 HCI的描述31-33
• 3.1.1 HCI公式及含義31-32
• 3.1.2 HCI的計算32-33
• 3.2 多級計分的特殊性33
• 3.3 HCI的拓展：多級計分層級一致性指標33-37
• 3.3.1 GHCI的公式及含義34-36
• 3.3.2 不同得分情況下GHCI計算舉例36-37
• 3.4 GHCI的特征37-39
• 3.4.1 GHCI中比較數(shù)為0的被試比例較少37
• 3.4.2 GHCI對被試評價更細致37-38
• 3.4.3 GHCI可用于混合計分38-39
• 4 研究二：GHCI作為層級一致性指標的精確性和穩(wěn)定性39-46
• 4.1 研究目的39
• 4.2 研究設計39-40
• 4.3 研究過程40
• 4.3.1 數(shù)據(jù)生成40
• 4.3.2 數(shù)據(jù)分析思路40
• 4.4 研究結果40-44
• 4.4.1 HCI均值因屬性層級和轉換比例不同而異40-42
• 4.4.2 GHCI均值因屬性層級而異42
• 4.4.3 GHCI與HCI的均值比較42-44
• 4.4.4 GHCI較少出現(xiàn)分母為0的情況44
• 4.5 討論與結論44-46
• 4.5.1 多級計分情境,HCI會低估屬性層級的一致性44-45
• 4.5.2 HCI應用于多級計分情境,應根據(jù)屬性層級設定轉換比例45
• 4.5.3 GHCI適宜多級計分情境,擬合截斷值的設置可因屬性層級而異45-46
• 5 研究三：GHCI作為層級一致性指標的靈敏性46-61
• 5.1 研究目的46
• 5.2 研究假設46
• 5.3 研究方法46-48
• 5.3.1 各種誤設條件的界定46-47
• 5.3.2 研究設計47
• 5.3.3 數(shù)據(jù)分析思路47-48
• 5.4 分析過程48-56
• 5.4.1 層級結構中存在錯層的分析過程48-51
• 5.4.2 層級結構中存在層級關系顛倒的分析過程51-52
• 5.4.3 層級結構中存在有層級變無層級的分析過程52-55
• 5.4.4 層級結構中存在無層級關系變有層級關系的分析過程55-56
• 5.5 研究結果56-59
• 5.5.1 GHCI降幅隨層級結構誤設程度加深變大56-58
• 5.5.2 GHCI降幅在不同誤設情況下變化不同58-59
• 5.6 討論與結論59-61
• 5.6.1 GHCI與HCI誤設結果的比較59
• 5.6.2 GHCI作為層級一致性指標的有效性59-60
• 5.6.3 GHCI在屬性層級結構有變無時降幅較小60-61
• 6 研究四：GHCI作為個人擬合指標的靈敏性61-69
• 6.1 研究目的61
• 6.2 研究假設61
• 6.3 研究設計61-63
• 6.3.1 實驗設計61-62
• 6.3.2 測驗長度和項目區(qū)分度設置62
• 6.3.3 異常反應類型設置62-63
• 6.4 研究過程63-64
• 6.4.1 截斷值的確定63-64
• 6.4.2 異常反應被試GHCI、HCI的計算64
• 6.4.3 靈敏性的評價64
• 6.5 研究結果64-66
• 6.5.1 GHCI、HCI截斷值的變化64-65
• 6.5.2 GHCI、HCI對異常反應被試的檢出率比較65-66
• 6.6 討論與結論66-69
• 6.6.1 GHCI作為個人擬合指標具有靈敏性66
• 6.6.2 GHCI、HCI檢出率隨測驗長度變化66-67
• 6.6.3 GHCI、HCI檢出率隨區(qū)分度變化67-68
• 6.6.4 GHCI、HCI檢出率在不同類型異常反應的靈敏性68-69
• 7 研究五：GHCI在實證研究中的應用69-77
• 7.1 研究目的69
• 7.2 數(shù)據(jù)來源69-70
• 7.3 研究過程和方法70-71
• 7.3.1 模擬研究的過程和方法70-71
• 7.3.2 實證研究的過程和方法71
• 7.4 研究結果71-75
• 7.4.1 實證被試數(shù)據(jù)與認知模型的擬合71
• 7.4.2 HCI值隨轉換比例的變化71-72
• 7.4.3 被試的GHCI顯著大于100%轉換比例下的HCI72
• 7.4.4 不同范圍GHCI值與100%轉換比例下HCI值的分布狀況72-73
• 7.4.5 GHCI值與HCI值的總體分布73-74
• 7.4.6 被試個體異常反應情況74-75
• 7.5 討論與結論75-77
• 7.5.1 GHCI拓展的有效性75
• 7.5.2 不同轉換比例下HCI在實證數(shù)據(jù)中的比較75-76
• 7.5.3 GHCI的截斷值選取受特定實驗條件的影響76-77
• 8 總結與展望77-80
• 8.1 研究結論77-78
• 8.2 研究展望78-80
• 參考文獻80-86
• 攻讀學位期間取得的研究成果86-87
• 致謝87-90

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 康春花;孫小堅;曾平飛;;基于等級反應模型的多水平多側面評分者模型[J];心理科學;2016年01期

2 康春花;吳會云;陳婧;曾平飛;;小學數(shù)學“圖形與幾何”認知診斷測驗的編制[J];教育測量與評價(理論版);2015年10期

3 秦春影;仝海燕;盧西莊;黃磊;;屬性不獨立對DINA模型參數(shù)估計的影響[J];齊齊哈爾大學學報(自然科學版);2014年01期

4 丁樹良;羅芬;汪文義;;認知診斷分類中心的確定[J];心理學探新;2013年05期

5 張淑梅;包鈺;郭文海;;一種多級評分的廣義認知診斷模型[J];心理學探新;2013年05期

6 涂冬波;蔡艷;戴海琦;;基于HO-DINA模型的多級評分認知診斷模型的開發(fā)[J];心理科學;2013年04期

7 丁樹良;王文義;羅芬;;認知診斷中Q矩陣和Q矩陣理論[J];江西師范大學學報(自然科學版);2012年05期

8 涂冬波;蔡艷;戴海琦;;幾種常用非補償型認知診斷模型的比較與選用:基于屬性層級關系的考量[J];心理學報;2013年02期

9 田偉;辛濤;;基于等級反應模型的規(guī)則空間方法[J];心理學報;2012年02期

10 顏遠海;丁樹良;汪文義;;影響AHM與DINA診斷準確率的因素研究[J];江西師范大學學報(自然科學版);2011年06期

中國博士學位論文全文數(shù)據(jù)庫 前1條

1 宋麗紅;DINA改進模型（R-DINA）的提出及三個診斷模型自動選擇機制研究[D];江西師范大學;2012年

中國碩士學位論文全文數(shù)據(jù)庫 前4條

1 任平;多級聚類診斷法的開發(fā)及其在認知診斷評估中的應用[D];浙江師范大學;2015年

2 鮑孟穎;運用DINA模型對5年級學生數(shù)學應用題問題解決進行認知診斷[D];華東師范大學;2014年

3 毛萌萌;AHM模型下的新分類方法[D];江西師范大學;2008年

4 祝玉芳;RSM改進及多級評分AHM的開發(fā)研究[D];江西師范大學;2008年

，

本文編號：673110