萊頓等人(Leighton,Gierl,& Hunka,2004)提出了對被試認知屬性進行診斷的屬性層級方法(attribute hierarchy method,AHM)。

一、屬性層級

AHM將被試的測驗項目作答模式對應到已定義好的結構化屬性模式(structured attribute patterns)中,結構化屬性也叫屬性層級(attribute hierarchy),定義了被試在問題解決中所需屬性的結構順序,也就是任務解決中的認知模型。屬性層級在AHM中起著基礎性的作用,它代表了被試在測驗作答過程中涉及的知識技能及其結構關係。鄰接矩陣說明了屬性之間的層級關係,因此,在AHM中也起著關鍵作用。吉爾等人認為,基於某個認知模型的測驗分數推論更加具有解釋力,對於理解和評估被試的表現也更具有實質意義。

屬性層級方法是一種表麵上與規則空間方法非常相近的方法。方法提出者認為AHM是規則空間方法的變化,但他堅持認為兩種方法之間有很大的不同。最本質的不同在於AHM認為測驗認知屬性之間是存在層級關係的,因此是相互依賴的;而規則空間方法則沒有重視測驗屬性之間的層級關係及其相互依賴性,也沒有在鄰接矩陣中刻意進行定義。另外,AHM認為,必須在測驗編製之前定義好屬性層級結構,並依此屬性層級結構編製測驗項目,這樣才能保證編製的項目能夠推導出唯一的鄰接矩陣;而規則空間方法總是先編製好測驗項目,然後再根據測試數據推導出屬性鄰接矩陣,這樣很難保證鄰接矩陣的唯一性。

二、基於屬性層級的被試屬性掌握模式診斷

AHM將被試的作答表現與認知模型結合在一起的診斷過程分為四個主要步驟。

第一,定義任務解決認知模型,也就是屬性層級,屬性層級關係一般有四種典型模式,已在前文中描述。

第二,命製題目測量認知模型所定義的認知成分,根據屬性層級結構來命製測驗項目,測驗開發者可以完全控製每個項目測量的屬性。

第三,基於認知模型對被試作答表現進行記分和分析。有了屬性層級結構,就可以推算出理想被試的理想反應模式(注意:AHM中作者使用expected代替ideal,並認為兩者強調了不同的意義)。理想被試的作答過程是不存在猜測和失誤的。基於理想被試反應模式矩陣,利用項目反應理論中的模型,首先估計出每個項目的參數以及理想被試的能力參數,這是AHM進行分類的基礎。AHM提出了兩種對被試觀察反應模式進行分類的方法,分別叫方法A和方法B。下麵分別對這兩種方法進行簡要的介紹。

方法A:初級分類法(preliminary classification method)。該方法將被試觀察反應模式與所有的理想反應模式進行比對,找到最匹配的理想反應模式,其對應的屬性掌握模式即為該被試的歸類結果。具體來說,用X表示被試觀察反應模式,用Vj表示第j種理想反應模式,dj=Vj-X就會產生一個可能包含0、-1和1的向量,各個元素表示在各個題目上的理想反應與觀察反應之間的一致性,0表示觀察反應與理想反應一致,-1表示理想反應答錯,實際觀察反應卻答對(簡記為01誤差),其發生的概率表示為Pjk(θ),1表示理想反應答對,實際觀察反應卻答錯(簡記為10誤差),其發生的概率表示為1-Pjm(θ)。K個發生“01誤差”的項目和M個發生“10誤差”的項目的聯合概率表示為:

式(6-9)表示了觀察反應模式屬於某一理想反應模式的可能性大小。若K和M均為0,則觀察反應模式與理想反應模式完全一致。若K和M並不全為0,那麽,PjExpected(θ)越大,則表示觀察反應模式屬於該理想反應模式的可能性越大,反之,PjExpected(θ)越小,則表示觀察反應模式屬於該理想反應模式的可能性越小。在這裏,P的計算均是基於項目反應理論模型的,模型參數值使用上文提到的理想反應模式矩陣的估計結果,按照這種模式計算的Pjk(θ)表示了第j種理想反應模式對應的能力水平答對第k題的概率,而1-Pjm(θ)表示了第j種理想反應模式對應的能力水平答對第m題的概率。需要特別注意的是,這裏的k和m分別表示的是“0 1誤差”項目集和“1 0誤差”項目集中的順序。

方法B:驗證分類法(verification of preliminary classification metod)。該方法比方法 A更加簡單直接。首先,需要識別出邏輯上屬於觀察反應模式子集的所有理想反應模式。比如,如果觀察反應模式為1 1 1 0 1,那麽,理想反應模式1 1 0 0 0、1 0 1 0 1、1 1 1 0 0、1 0 0 0 1等就是觀察反應模式的子集,這些子集所對應的屬性掌握模式也被認定為被試已經掌握。如果理想反應模式不是觀察反應模式的子集,如0 1 1 1 1、0 0 0 1 1等,則需要分別計算每個此類理想反應模式中“1 0誤差”發生的概率之積,以此作為對被試進行判斷分類的證據。“1 0誤差”發生的概率計算方式與方法 A一致,即1-Pjm(θ),該值越大,則觀察反應模式屬於該理想反應模式的可能性越大。因此,方法B中PjExpected(θ)的計算隻是針對發生了“1 0誤差”情形的理想反應模式,被試觀察反應模式分類也隻在這些理想反應模式中進行判斷。

第四,報告分析結果。報告結果需要注意幾個方麵:首先,需要詳細地解釋每個屬性的意義,並且以具體項目為例來說明屬性的測量方式;其次,需要提供如何根據被試測驗分數對其屬性掌握狀態進行解釋的指導原則;最後,在給教育者提供結果解釋時,需要通過學生診斷剖麵圖、個案分析的方式向教育者說明不同作答結果的認知心理學意義。