被試在解決問題的過程中,如作答數學題目,有時會因為其未理解或未掌握相關的概念,從而錯誤地應用解題規則。導致問題解決失敗的錯誤規則可能有很多種,正確解決問題也並不一定就意味著被試應用了正確的解題規則,可能是碰巧。當然,正確地應用解題規則肯定可以成功地解決問題。
規則空間方法(rule space method,Tatsuoka,1983)用於分析被試在某個認知領域中的錯誤規則發生的可能性、診斷被試發生的錯誤規則並清晰地描述這種錯誤規則應用的狀況。
一、規則空間建立
在規則空間方法架構下進行認知診斷分析,首先需要建立規則空間。規則空間是由被試潛在特質水平(θ)和偏離警戒指標(ζ)構成的二維空間。
被試的潛在特質水平θ是由項目反應理論模型定義的變量。研究者可以選擇單、雙、三參數邏輯模型中任一合適的模型來估計被試特質水平θ的值,如雙參數邏輯模型定義特質水平為θ的被試正確作答項目的概率為:
ζ是一個基於被試潛在能力水平的警戒指標變量,它表示能力水平為θ的被試,其實際測驗項目作答反應模式偏離該能力水平對應的理想項目反應模式的程度。
將f(X)重寫為X的線性函數形式:
對於能力值為θi的被試,函數f(X)的期望為0,其方差為:
於是,警戒指標ζ就定義為函數f(X)的標準化形式:
ζ的作用主要有三個方麵:①構建一個與IRT中的θ變量成正交關係的變量,共同組成一個分類規則空間;②有了該指標,就能夠大大降低分類空間的維度,從維度為測驗題目數降低到隻有兩個維度的分類空間;③將指標值相近的作答模式聚集到某個規則點周圍。
變量θ和ζ組成了規則空間方法中的分類規則空間(rule space)。由這兩個變量組成的規則空間有兩個優勢:①規則空間中的兩個變量均是連續變量,很容易計算馬氏距離平方(squared Mahalanobis distance)指數;②規則空間中的兩個變量之間是不相關的,更容易進行分類分析。
二、被試屬性掌握模式分類
建立了規則空間之後,下一步就是如何將被試觀察作答反應模式進行歸類,並判斷其對應的屬性掌握模式。
記理想項目反應模式為R,對應的知識狀態為πR,能力水平IRT估計值為θR,警戒指標記為ζR;記實際觀察的項目反應模式為X,能力水平IRT估計值為θX,警戒指標記為ζX。
實際觀察的項目反應模式可能存在各種作答失誤,由此估計得到的θ和ζ值將會與由(潛在的)理想反應模式估計得到的值存在一定的差異。在這種情況下,觀察的項目反應模式應該歸類到哪一種理想反應模式中呢?
I(θ)為測驗信息函數,對於雙參數邏輯模型:
記X′=(θX,ζX)為觀察反應模式X在規則空間中對應的一個點。於是可以計算馬氏距離平方:
根據觀察反應模式與所有理想反應模式之間計算的馬氏距離,取馬氏距離最小的理想反應模式對應的屬性掌握模式,作為該觀察反應模式的最佳屬性掌握模式。
這裏有一個需要指出的重要問題是,我們將觀察反應模式通過馬氏距離指標歸類到某個特定理想反應模式,其實就是為該觀察反應模式選擇了一個比較合理的歸屬總體。然而,這個歸類過程可能會出現誤差,即Ⅰ型誤差(type 1 error)和Ⅱ型誤差(type 2 error)。另外,該方法的歸類過程是兩兩進行距離比較的過程,這與同時和多個總體進行比較是不同的。本書深入討論這些問題似乎沒有必要,但讀者需要了解這些問題的存在。