選題策略直接影響測試過程的高效性和測試結果的精確性,同時還會影響題庫的使用效率,因此選題策略一直是CD-CAT研究的主要內容。
一、測驗初始階段的選題策略
選題策略的研究經常分初試階段的選題策略和精確估計階段的選題策略。在選題的初始階段,由於缺少足夠的信息,因此很難對被試做出有意義的判斷。但是,初始階段的測試信息可以為下一步精確估計階段的選題提供基礎。在傳統的IRT-CAT測試中,初始階段的題目一般是選擇中等難度附近的題目,為後續選題提供關於被試能力水平的初步定位信息。在CD-CAT中,初始階段的題目的主要功能應該也是為後續選題提供初步定位信息。但CD-CAT的定位信息主要是關於被試屬性掌握模式的信息。塗冬波、蔡豔和丁樹良(2012)的研究結果認為,在CD-CAT的初始階段,基於屬性可達矩陣選擇題目能夠為後續選題提供關於被試屬性掌握狀態的較好的定位信息。
其實,顏遠海、丁樹良和汪文義(2011)與彭亞風等人(2016)的研究結果均認為,在對被試屬性掌握模式的整個判斷過程中,根據屬性可達矩陣進行選題是保證判別分類結果精確性和高效性很好的原則。當然,除了題目的屬性組合模式之外,題目的測量學參數也是影響測量結果精確性和高效性的關鍵因素。
二、測驗精確估計階段的選題策略
測試結果的高效性和精確性是選題策略關注的焦點,測試結果的精確性主要是通過信息量大小來進行衡量的。在參數的精確估計階段,指導選題策略的信息量指標有很多種,下麵介紹幾種受到較多關注的信息量指標。
一是基於KL散度(Kullback-Leibler divergence,請參見後文詳解)的選題策略,即根據被試當前屬性掌握模式的估計值,每次從題庫或剩餘題庫中選擇使KL散度最大的項目施測。我們在很多文獻中已經習慣將KL散度與KL信息量混合使用,KL散度是兩個概率分布之間的偏離程度。對於兩個離散變量概率分布P和Q,KL散度定義為:
對於兩個連續變量概率分布P和Q,KL散度定義為:
在認知診斷計算機化自適應測驗中,P和Q一般就是項目反應函數。具體應用KL信息量於CD-CAT中選題的規則如下:
Xr是被試i在項目r上的得分,取值0或1。在認知診斷評價中,αc的可能取值是有限的,於是,許等人(Xu,Chang,& Douglas,2003)提出將基於αc的所有可能取值計算的KL散度累加起來如下:
二是基於香農熵(Shannon entropy)的選題策略(SHE),根據被試當前屬性掌握模式的估計值,每次從題庫或剩餘題庫中選擇使香農熵最小的項目施測。對於有n種可能取值的離散型隨機變量X,香農熵的定義為:
P(xi)是變量X取值為xi的概率,b的取值可以是2、10或其他值。由上式可以看出,當X的某個取值概率為1,而其他取值概率為0時,會令累加和達到極小值0;而當所有取值的概率趨於相同時,將使H(X)達到極大值。當兩個事件X和Y的取值分別為xi和yj時,可以定義條件熵(conditional entropy)如下:
具體應用香農熵於CD-CAT中選題的規則如下:
假設屬性掌握模式α的先驗分布為g,在給被試i施測了t個項目後的後驗概率表示為:
U(t)為被試i在t個項目上的作答結果向量,L(U(t)|αc)為似然函數。在認知診斷評價中,αc的可能取值是有限的。於是,基於後驗概率的關於屬性掌握模式αc可能取值的香農熵表示為:
K為測驗屬性個數。
在給被試i施測了t個項目後,從剩餘題庫中選擇項目r作為下一個測試項目的規則就是,該項目能使下式的取值達到最小化:
Xr為被試i在項目r上的作答結果,取值0或1。
三是基於互信息(mutual information)的選題策略(MI)。對於離散型隨機變量X和Y,互信息定義如下:
P(x,y)是隨機變量X和Y的聯合概率函數,P(x)和P(y)分別是隨機變量X和Y的邊際概率分布函數。對於連續型隨機變量,隻要將累加形式改為積分形式即可。
根據互信息的定義,它反映了變量X和Y之間信息共享的程度,如果X無法給Y的定義提供任何信息,那麽,X和Y就是相互獨立的,互信息函數等於0。如果知道X就能知道Y,說明兩者信息共享達到完美。互信息是非負的,且對X和Y是對稱的。
在構建GDI指標時將屬性進行了縮減,對於某個項目來說,隻是從形式上減少了需要計算的屬性掌握模式數量,如上例中,需要累加的量就從25減少到了23,並不會從實質上改變屬性掌握模式的內涵。
許多研究者在這些信息量指標的基礎上進行了改進,以提高選題過程的效率和診斷結果的準確率。
程(Cheng,2009)提出了基於後驗概率加權的KL信息量的選題策略(PWKL)。相對於KL信息量選題策略,PWKL給KL信息量增加了不同的權重,權重是屬性掌握模式的後驗概率。
程還提出了基於後驗概率和屬性掌握模式距離加權的KL信息量的選題策略(HKL)。相對於PWKL選題策略,HKL選題策略的區別在於權重不同,HKL選題策略同時考慮後驗概率和屬性掌握模式之間的相似性來對KL信息量加權。
卡普蘭、德拉托爾和巴拉達(Kaplan,de la Torre,Barrada,2015)又在PWKL選題策略的基礎上對其加權模式進行了改進,提出了改進後的MPWKL選題策略。
研究者對各種選題策略的應用進行了深入比較,不過,這些比較研究都使用了特定的認知診斷模型,比較的結果是否可以推廣到其他認知診斷模型,還有待進一步探討。