【摘要】：基于課程改革要求,各大測驗(yàn)越來越強(qiáng)調(diào)對(duì)學(xué)生分析和問題解決能力的探究。主觀題則正滿足了這一測驗(yàn)?zāi)康?因?yàn)檫@類題型能夠反映出被試在作答時(shí)采用的答題策略,進(jìn)而可以推測出被試所掌握的潛在知識(shí)結(jié)構(gòu)或認(rèn)知技能。主觀題作答結(jié)果的開放性使得當(dāng)前對(duì)其評(píng)分仍需依賴于專業(yè)的評(píng)分者。因此關(guān)于如何及時(shí)、有效地提高評(píng)分信度,保證測驗(yàn)的客觀性與公平性也成為了當(dāng)前心理與教育測評(píng)等領(lǐng)域的關(guān)注點(diǎn)之一。結(jié)合實(shí)際,在合理簡約的評(píng)分設(shè)計(jì)情境中,運(yùn)用統(tǒng)計(jì)和測量的方法分離引起分?jǐn)?shù)變異的來源,并檢測出變異的影響因素,這對(duì)出現(xiàn)評(píng)分者效應(yīng)的評(píng)分者給予有針對(duì)性的訓(xùn)練,進(jìn)而提升評(píng)分精確性具有十分重要的意義。康春花等人(2016)提出的GR-MLFM是在多面Rasch模型、多水平隨機(jī)系數(shù)模型和等級(jí)反應(yīng)模型基礎(chǔ)之上建立,兼具上述模型的特征,可用于復(fù)雜評(píng)分情境下評(píng)分者寬嚴(yán)度及相關(guān)影響因素的檢測與探討,并且研究者也已通過模擬和實(shí)證研究驗(yàn)證了該模型在交叉評(píng)分設(shè)計(jì)情境下具有良好的適用性及穩(wěn)定性,但其在嵌套和混合評(píng)分設(shè)計(jì)下的性能如何有待進(jìn)一步驗(yàn)證。因此,本研究將在交叉、嵌套和混合評(píng)分設(shè)計(jì)下驗(yàn)證GR-MLFM的適用性及穩(wěn)定性,并對(duì)三種評(píng)分設(shè)計(jì)下的結(jié)果進(jìn)行相互比較,為實(shí)踐工作在不同類型評(píng)分情境中能夠選擇適合有效地模型提供一定的理論參考。研究一和研究二均為模擬研究,分別探討了 GR-MLFM簡單模型和完整模型在完全交叉、嵌套和混合三種評(píng)分設(shè)計(jì)下的適用性和穩(wěn)定性,并對(duì)三種設(shè)計(jì)下的參數(shù)估計(jì)返真性進(jìn)行比較。其中,研究一模型中不考慮具體的預(yù)測變量的影響;研究二的模型中將被試性別和評(píng)分者自信心與責(zé)任心分別作為被試和評(píng)分者的預(yù)測變量加入到模型之中,發(fā)展成了完整模型,最后將兩個(gè)研究下各參數(shù)估計(jì)值與其真值進(jìn)行擬合比較。研究一和研究二結(jié)果表明,GR-MLFM在三種設(shè)計(jì)下均能對(duì)各參數(shù)進(jìn)行精確估計(jì),且完全交叉設(shè)計(jì)下的結(jié)果與混合設(shè)計(jì)下的結(jié)果基本一致,這兩種設(shè)計(jì)下的參數(shù)返真性均好于嵌套設(shè)計(jì)。研究三為實(shí)證研究,目的是在研究一和研究二的基礎(chǔ)上,將GR-MLFM完整模型應(yīng)用于三種評(píng)分設(shè)計(jì)類型下的實(shí)踐數(shù)據(jù)中,探討模型在實(shí)際情境中的性能。研究結(jié)果表明GR-MLFM在實(shí)踐中性能良好,能夠精確地進(jìn)行參數(shù)估計(jì)和有效地檢測出評(píng)分者效應(yīng),且以完全交叉設(shè)計(jì)為參照,混合設(shè)計(jì)下的參數(shù)估計(jì)結(jié)果與其更為一致。
【圖文】：

１．２．２嵌套設(shè)計(jì)逡逑嵌套設(shè)計(jì)（ｎｅｓｔｅｄ邋ｄｅｓｉｇｎ）是指其中一對(duì)評(píng)分者對(duì)某道題進(jìn)行評(píng)分，然后另一對(duì)完全逡逑不同的評(píng)分者對(duì)另外一道題進(jìn)行評(píng)分，例如圖１．１ｂ）中評(píng)分者１和２評(píng)了被試的第一逡逑題，評(píng)分者３和４評(píng)了被試的第二題。嵌套設(shè)計(jì)下可以有不同的組合，這種類型的評(píng)逡逑分設(shè)計(jì)就是嵌套設(shè)計(jì)的一種（黎光明，劉曉喻，譚小蘭，周夢培，張敏強(qiáng)，，２０１４）。逡逑在大多數(shù)可操作性的評(píng)估情境中，由于時(shí)間、人力以及財(cái)力的限制，評(píng)分者就會(huì)逡逑被分成多個(gè)小組對(duì)被試的表現(xiàn)進(jìn)行評(píng)定，這種嵌套評(píng)分設(shè)計(jì)，實(shí)質(zhì)上是一種不完整設(shè)逡逑計(jì)（Ｂｒｅｎｎａｎ，邋１９８３）。嵌套設(shè)計(jì)使用了一種特定的分配方式讓評(píng)分者對(duì)被試的作答反應(yīng)逡逑進(jìn)行評(píng)定，優(yōu)點(diǎn)之一就是不需要所有評(píng)分者評(píng)所有被試，從而既節(jié)約了時(shí)間和財(cái)力，逡逑也減輕了評(píng)分人員的負(fù)擔(dān)。但是相比于完全交叉設(shè)計(jì)而言，嵌套設(shè)計(jì)下所收集到的數(shù)逡逑據(jù)實(shí)質(zhì)上是具有一定缺失比率的數(shù)據(jù)

逡逑２．４．２整體研究設(shè)計(jì)逡逑整體研究設(shè)計(jì)如圖２．２所示。逡逑２．５研究意義逡逑２．５．１理論意義逡逑評(píng)分者效應(yīng)是主觀評(píng)分中系統(tǒng)誤差的重要組成部分，與其相關(guān)的研宄由來己久。逡逑從測量方法的角度來說，相比于ＣＴＴ、ＧＴ、ＩＲＴ、ＭＲＣＭ以及Ｇ－ＭＬＦＭ，本研究所逡逑采用的ＧＲ－ＭＬＦＭ體現(xiàn)了測量方法和模型的拓展與深入，它結(jié)合了多水平方法和逡逑ＧＲＭ的優(yōu)勢，不僅能夠用概率函數(shù)的形式刻畫出被試潛在特質(zhì)以及評(píng)分者寬嚴(yán)度等逡逑２７逡逑
【學(xué)位授予單位】：浙江師范大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2018
【分類號(hào)】：B842

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 黎光明;劉曉瑜;譚小蘭;周夢培;張敏強(qiáng);;考試評(píng)分缺失數(shù)據(jù)的概化理論分析[J];心理科學(xué);2014年03期

2 鐘曉玲;康春花;陳婧;;基于CTT、GT、IRT的評(píng)分者信度研究——以某屆奧運(yùn)會(huì)女子跳水決賽為例[J];考試研究;2013年05期

3 王蕾;張文靜;;PISA中國試測研究的評(píng)分者效應(yīng)分析對(duì)高考網(wǎng)上閱卷的啟示[J];統(tǒng)計(jì)與信息論壇;2012年06期

4 李斌;辛濤;張淑梅;孫佳楠;;多評(píng)分者多任務(wù)情境下評(píng)分者信度的模型擬合研究[J];湖南師范大學(xué)教育科學(xué)學(xué)報(bào);2011年06期

5 關(guān)丹丹;陳睿;張開;趙靜宇;;兩種評(píng)分量表的評(píng)分效應(yīng)比較研究[J];教育研究與實(shí)驗(yàn);2011年04期

6 康春花;姜宇;辛濤;;概化理論在人事測評(píng)中的評(píng)分者一致性研究[J];心理科學(xué);2010年06期

7 李斌;;評(píng)分者一致性自身特征結(jié)構(gòu)影響因素的驗(yàn)證性研究[J];山東師范大學(xué)學(xué)報(bào)(人文社會(huì)科學(xué)版);2010年05期

8 李斌;;影響主觀評(píng)分一致性的評(píng)分者自身特征分析[J];山西大學(xué)學(xué)報(bào)(哲學(xué)社會(huì)科學(xué)版);2010年03期

9 徐思;張敏強(qiáng);黎光明;;基于GT和多面Rasch模型的結(jié)構(gòu)化面試分析[J];心理學(xué)探新;2009年05期

10 關(guān)丹丹;;主觀題評(píng)分質(zhì)量的估計(jì)方法評(píng)述[J];中國考試(研究版);2008年10期

相關(guān)碩士學(xué)位論文 前2條

1 孫小堅(jiān);等級(jí)反應(yīng)多水平側(cè)面模型及其在主觀題評(píng)分中的應(yīng)用[D];浙江師范大學(xué);2016年

2 洪佳敏;英語寫作測試中的評(píng)分者效應(yīng)：整體評(píng)分和分項(xiàng)評(píng)分對(duì)比研究[D];上海師范大學(xué);2010年

本文編號(hào)：2645951