題目在線更新本來並不是計算機化自適應測驗的必要功能模塊,但是隨著題目更新對題庫維護的作用越來越重要,加上CAT在數據采集方麵的獨特優勢,題目在線更新功能將成為CAT係統中具有巨大附加值的模塊。

一、題目內容更新

題庫在使用的過程中,有些題目的內容可能已經不適合新的情境了,題目的參數可能也會隨著測試總體的發展而發生變化,另外,隨著題庫使用率的提高,也需要增加新的題目。題目在線更新主要涉及兩個方麵的問題:一是題目內容更新,包括增加新題和對已有題目內容的修訂;二是題目參數的在線標定,同樣包括對新題參數的標定和對已有題目參數的重新校準。

題目內容的更新主要涉及的是計算機軟件設計技術問題,從功能上保證題目內容更新過程的可用性和便利性。

CD-CAT題目參數的在線標定與IRT-CAT的題目參數在線標定並沒有什麽本質的不同,但CD-CAT題目參數的在線標定包括了題目的測量學參數和題目屬性的在線標定,主要涉及兩個方麵的問題:一是數據的采集方式設計;二是參數的在線標定方法,兩者的目的均是為了保證題目參數標定的精確性。

二、在線標定數據采集方式設計

關於數據的采集方式,主要是考慮如何將題目分配給被試作答,包括隨機分配和自適應分配。隨機分配就是將新題目隨機分配給不同的被試,而且題目在測試過程中的位置也是隨機插入的,隨機分配完全沒有體現現代測量理論數據采集的基本要求和優勢。自適應分配就是盡量預先獲得關於題目參數的初步估計值,如通過領域命題專家標定或通過部分作答數據獲得初步估計值,然後自適應地分配給相應水平的被試,正如自適應地估計被試水平一樣,通過自適應的方式分配題目也可以節省采集的被試樣本容量。當使用部分作答數據對題目參數進行初步估計時,被試的選擇就顯得非常重要。當前研究者主要關注的是如何設計測驗以更好地診斷被試屬性掌握模式,關於如何為估計題目參數而選擇被試的研究還未受到關注,也許我們可以借鑒認知診斷計算機化自適應測驗的設計模式。在CD-CAT情境下,被試屬性掌握模式和水平可以通過舊題的施測估計出來,於是可以在這個基礎上選擇合理的被試進行測試,按照一般規律,應該選擇不同屬性掌握模式的被試,但在每單個屬性上的掌握模式應該從整體上進行平衡,當然,這種模式還需要經過實驗論證。

數據采集方式需要考慮的另外一個問題與參數標定方法的使用有關。如果參數標定時需要進行等值,那麽,數據采集過程中就需要考慮等值的設計要求。在線標定中的等值設計模式是,一組被試作答的舊題中會包含一定數量的錨題,再加上部分新題。在采集了足夠的作答數據後(被試能力值會在各自的CAT測試結束時用所有舊題估計得到),用條件估計方式同時估計錨題和新題的參數,然後通過錨題新參數與題庫中的已有參數建立等值關係,將新題參數等值到題庫的參數單位係統上去。基於等值設計的在線標定方法由於通過錨題進行了參數校準,因此能夠保證新題參數不會受到具體被試樣本帶來的誤差的影響,但這種方法需要給一組被試插入一定數量的錨題,會影響自適應過程的實施。

每個被試測試應該插入多少個新題為宜,這個似乎沒有統一的標準,應該是在保證精確估計被試水平的前提下,以不引起被試疲勞效應為主。

三、參數的在線標定方法

參數的在線標定方法討論的是采集了作答數據後,如何估計新題的參數。一般情況下,新題的參數標定會經曆兩個參數的條件估計過程,一是基於所有舊題估計被試水平參數,二是基於估計的被試水平參數來估計新題參數。這兩個估計過程的具體實施由於數據采集方式的不同而不同。在等值設計的情形下,基於估計的被試水平參數估計新題參數後,新題並不直接進入題庫,而是要經過一個等值的環節之後才進入題庫。在沒有等值設計的情形下,基於估計的被試水平參數估計新題參數後,新題將直接進入題庫。有的研究者擔心這種標定方式會導致新題參數由於被試樣本而產生漂移(scale drift)。其實這種擔心是沒有必要的,隻要保證被試樣本分布合理、容量足夠,且被試水平估計精確,那麽,就不會產生明顯的參數漂移現象,陳和辛(Chen & Xin,2012)的實證研究也證明了這一點。

喻曉鋒等人(2015)提出了一種基於似然比的題目參數估計和驗證方法,使用該方法可以同時對題目屬性進行定義和對參數進行標定。作者認為該方法可以直接用於認知診斷計算機化自適應測驗的題目在線更新。本書的前麵章節已經對該方法進行了詳細介紹。

本章小結

計算機化自適應測驗是基於現代測量理論的最有特色的應用技術。它讓測驗的過程更加人性化、更加高效、更加安全、更加準確。

計算機化自適應測驗編製主要包括題庫建設、給被試自適應選題、測驗終止和結果報告。實施計算機化自適應測驗最主要的困難是題庫建設和自適應選題策略。自適應選題策略已經研究得比較深入,而題庫建設是一個比較耗時、耗力的過程。

題庫的在線更新是計算機化自適應測驗研究中的一個附加領域,具有傳統題目更新技術無法比擬的優勢。

思考題

1.請思考認知診斷計算機化自適應測驗中各種選題策略的具體應用過程。

2.請思考題目在線更新的具體過程和策略。