認知診斷評價理論的優勢就是能夠給每個被試提供關於其知識發展狀態詳細的剖析信息。現在被認為具有認知診斷功能的模型非常多,而且參數表現形式也是多樣的,關於具有認知診斷功能的多維IRT模型的參數估計問題,本書將不涉及。認知診斷模型的典型被試參數一般是關於被試在每個知識屬性上的掌握狀態,即屬性掌握模式。屬性掌握模式是離散的,取值是有限的。被試屬性掌握模式的估計過程,就是在這些有限的取值範圍內找到最合適的取值。

在本節內容中,題目得分隻有兩種可能,即答對記1分,答錯記0分。記被試的屬性掌握模式為αj=(αj1,αj2,…,αjK),K為測驗屬性個數,測驗測量的被試可能屬性掌握模式共有2K種(假設每個屬性的掌握狀態隻有兩種,即掌握為1,和未掌握為0)。假設測驗屬性關聯矩陣Q矩陣已經定義。

為了方便下麵介紹的3種屬性掌握模式估計方法,我們仍以DINA模型為例。同時,假設某個測驗共考察了3個屬性,包含6個測驗項目,測驗所對應的Q矩陣和具體的項目參數如表7-2所示。假設某被試在測驗中的得分向量為[1 1 0 1 0 1]T。

表7-2 測驗Q矩陣及項目參數

一、經典條件估計

第一種被試參數估計方法,其實就是在項目參數已經確定的條件下,求被試項目反應概率的聯合似然函數極大值點對應的被試參數。因此,參數估計的第一步是構建聯合似然函數,由於項目參數已經確定,這時構建如下的似然函數中僅含有被試參數這一類未知參數:

式子中,uj為被試j在所有項目上的作答反應模式,Pi(αj)為項目反應函數,xij為被試j在項目i上的得分,ξ為已知的項目參數。

然後,就是尋找能夠使該似然函數達到極大值點的被試參數值。對於取有限離散值的變量,最直接的辦法就是窮盡有限的所有屬性掌握模式,找到一種能夠使該似然函數達到極大值點的模式。

根據DINA模型項目反應函數,下麵具體說明用極大似然估計方法估計前麵所提到被試的屬性掌握模式的過程,如表7-3所示。

表7-3 極大似然估計

從表7-3中可以很容易看出,當被試屬性掌握模式估計值為模式5時,對應的似然函數值最大。所以,根據被試的作答反應向量,該被試的屬性掌握模式的極大似然估計值為[1 1 0]T。

二、極大後驗估計

第二種被試參數估計方法是用極大後驗估計(maximum a posteriori,MAP)方法來估計被試參數。在統計學中,極大後驗估計是在試驗樣本數據已知的情形下,獲得對未知參數的點估計。它與基於經典統計理論的極大似然估計方法非常相似,隻是極大後驗估計這種方法在構建似然函數時,要將未知參數的先驗分布融合到似然函數式中。所以,極大後驗估計可以看作經過規則化(regularization)之後的極大似然估計。

現在的情形是已經有了試驗樣本數據,且項目參數已知,需要估計未知的被試參數。按照經典統計理論構建的、關於被試在所有項目上作答模式的似然函數如式(7-34)所示:

式子中,M為題目量,xij表示被試在項目上的作答反應結果,取值為0或1,uj為被試j在所有項目上的作答反應模式,ξ為已確定的項目參數。假如被試參數的先驗分布概率函數定義為g(αv),那麽,極大後驗估計的似然函數構建如式(7-35)所示:

μ的下標j的值代表的是具體的樣本被試,α的下標v的值則代表的是一種屬性掌握模式,每個被試必定會屬於一種屬性掌握模式,可能有多個樣本被試屬於同一種屬性掌握模式,也有可能某個屬性掌握模式沒有在樣本被試中出現。

接下來的工作,仍然是尋找能夠使該似然函數達到極值的被試參數估計值。與經典條件估計一樣,對於離散有限取值的變量,可以直接窮盡有限的所有屬性掌握模式,找到一種能夠使該似然函數達到極大值點的模式。不過,在這個過程中需要結合考慮每種屬性掌握模式發生的先驗概率。

盡管極大後驗估計與貝葉斯統計共享先驗分布的概念和作用,但通常並不認為它是一種傳統貝葉斯統計方法,這是因為極大後驗估計是點估計,這與經典統計思想認為未知參數是一個確定量而非隨機變量的觀點一樣。然而,貝葉斯統計方法的特點是使用後驗分布來總結數據、得到推論。貝葉斯統計方法試圖算出後驗均值或者中值,而不是尋找一個確定極值——眾數。

表7-4 極大後驗估計

從表7-4中同樣可以很容易看出,當被試屬性掌握模式估計值為模式5時,對應的似然函數值最大。所以,根據被試的作答反應向量,該被試的屬性掌握模式的極大後驗估計值為[1 1 0]T。在這裏,讀者需要注意到的是,我們為屬性掌握模式設定的先驗分布是均勻分布,因此其估計結果與極大似然估計結果是一致的。

三、期望後驗估計

第三種被試參數估計方法稱為期望後驗估計(expected a posteriori,EAP)。這種估計方法需要首先構建關於未知參數的後驗分布。例如,貝葉斯統計模型定義的式(7-7)所示,在已有試驗樣本數據信息及項目參數確定的情形下,假設被試參數的先驗分布概率函數為g(αv),那麽,關於未知被試參數的後驗概率就如式(7-36)所示:

式子中符號表達的意義與式(7-34)相同。其中:

這個式子與式(7-34)是一樣的,均表示在已知項目參數情形下,某被試在所有項目上作答反應結果的聯合概率。而,

這個式子則與式(7-10)是一樣的,均表示某種作答反應模式uj的邊際概率,隻是這裏的項目參數已經確定。不過,對於離散變量αv,積分形式需要轉換為累加形式,如下:

把式(7-37)代入式(7-38)(項目參數已經確定),同時,把式(7-37)與式(7-38)代入式(7-36),並對未知參數求期望,可得:

式子中,Lj(xk)為當能力水平取值為xk時,第j種被試作答反應模式的聯合概率,比照式(7-37)的形式構建,xk為數值積分算法中選擇的積點,代替具體的θ取值,q為積點個數,A(xk)為積點對應的係數或權重,且有:

於是,我們可以根據式(7-40)獲得能力參數的期望後驗估計。我們從這個式子中可以看到,能力參數的期望後驗估計與極大似然估計過程不一樣,它不需要進行類似牛頓-拉夫遜迭代的過程,而是通過直接計算就可以得到期望估計值。相對於極大後驗估計方法,期望後驗估計計算過程更簡單,速度更快,且符合傳統的貝葉斯統計思想,因此是更加受到推崇的一種能力參數估計方法。

根據表7-4得到的後驗概率,該被試對各屬性的掌握概率可以計算如下:

其中I是示性函數,I(αck=1)表示模式αc中的第k個屬性值為1。得到p(αjk|μj,ξ)後,然後以某個截斷值(通常取0.5)將屬性掌握概率(0到1的小數)轉換成屬性掌握模式(0或1)。上例中3個屬性的掌握概率分別為0.952、0.973、0.192,如果采用0.5作為截斷點,則該被試對應的屬性掌握模式為模式5。

從這個實例可以看出,采用3種不同的估計方法,對該被試可以得到相同的屬性掌握模式估計值。需要說明的是,這個例子隻描述了最簡單的情況,假定先驗分布為均勻分布,在一些更複雜的情況下,這3種估計方法並不總是能得到相同的屬性掌握模式估計值。