基於參數化統計模型的認知診斷評價方法擁有嚴格的邏輯理論基礎，使用具有明確定義的參數來描述問題空間，能夠清晰地刻畫出被試作答反應結果與被試潛在特質水平及項目特征之間的邏輯關係。同時，基於作答樣本數據對總體參數特征的推論過程也有著嚴密的理論和技術基礎。然而，在麵對實際問題情境時，參數化統計模型也存在一些複雜甚至很難解決的問題。非參數認知診斷評價方法可以繞過參數化統計模型的一些嚴密假設或複雜技術問題，直接給出問題解決的結果。非參數認知診斷評價方法的主要優勢有：①非參數認知診斷評價方法沒有關於測驗模型參數及其關係的假設，因此可以處理數據類型比較複雜、無法確定測驗數據擬合的參數化診斷模型的情形；②非參數認知診斷評價方法的計算過程比較簡單，不需要使用如參數化統計模型一樣複雜的計算方法和技術；③非參數認知診斷評價方法更加容易被理解，因此也更加容易被領域外專家推廣到實際應用情境中。

非參數認知診斷評價方法有很多，如基於聚類分析方法的認知診斷評價方法（Chiu，Douglas，& Li，2009；康春花，任平，曾平飛，2015）、廣義距離判別法（generalized distance discrimination，GDD，孫佳楠，張淑梅，辛濤，等，2011）等。

認知診斷評價方法對於促進各級各類教學和輔導具有重要的意義，因此，讓許多教育工作者能夠正確理解並實際使用該方法才能顯示出認知診斷評價理論的實踐意義。我們正是以易理解性和易用性為出發點，提出了一種簡單易用的非參數認知診斷評價方法——海明距離判別法（hamming distance discrimination，HDD，羅照盛，李喻駿，喻曉鋒，等，2015），並通過初步比較研究發現該方法具有較好的判別力。

一、海明距離

海明距離（hamming distance），有時譯成漢明距離。在信息論中，海明距離指兩個等長字符串對應位置的不同字符的個數。例如，字符串A（1，0，1）與字符串B（0，1，0）的對應位置的不同字符個數為3，即A與B的海明距離為3。海明距離被用於海明碼（hamming code）中，對編碼進行檢錯和糾錯。

二、定義測驗反應模式間的海明距離

不考慮測驗中被試的觀察反應模式存在缺失的情況，在有J道0、1計分項目的認知診斷測驗中，我們將被試i的觀察反應模式Yi與第t種理想反應模式It之間的海明距離定義為：

三、海明距離判別法在認知診斷分類中應用的合理性

第二，判別過程的合理性。由於觀察反應模式與理想反應模式對應位置的元素間的海明距離均為非0即1的整數，很有可能會出現某個被試的觀察反應模式與多個理想反應模式間的海明距離相同且均為最小值的情況，參考孫佳楠等人的判別規則，此時就無法按照海明距離最短準則對被試進行判別。因此，必須采取某種輔助判別方式對符合此種情況的被試進行處理。根據輔助判別方式的不同，本方法可分為R方法（隨機方法）和B方法（Bayes方法）兩種。R方法是指從多個最小距離對應的理想反應模式中隨機（random）選取一種，再將其對應的理想掌握模式作為被試的屬性掌握模式判別值。由於這些“特殊的”理想反應模式是在剔除了大部分與被試的觀察反應模式相似度低的其他理想反應模式後挑選出來的，在沒有其他任何可輔助判別的信息的情況下，我們有理由認為該被試的屬性掌握模式恰好與這些“特殊的”理想反應模式中任意一種所對應的理想掌握模式的概率均等，故使用隨機選取的方式對其進行處理是合理的。B方法參考了規則空間方法（R**）中的判別方法，對存在多個最小距離的情況使用B方法，合理地利用當前測驗情境所提供的信息來輔助對被試屬性掌握模式進行判別分類，這樣能夠盡量地減少誤判的情況，提高認知診斷結果的分類準確率。

四、應用海明距離判別法進行認知診斷分類

應用海明距離判別法進行認知診斷分類有兩大步驟。

第一步，計算被試i的觀察反應模式與每種理想反應模式之間的海明距離，並按距離最短原則對被試進行判別分類。

經過第一步，被試很可能會被分為兩類：第一類被試能夠找到與其觀察反應模式的海明距離最小的理想反應模式，且該理想反應模式是唯一確定的；第二類被試雖然也能找到與其觀察反應模式的海明距離最小的理想反應模式，但找出的理想反應模式並不是唯一的。其中，第一類被試通過第一步分析即可完成診斷分類，進而確定被試的屬性掌握模式，而第二類被試則需要繼續進行下麵第二步的分析工作。第二步，運用R方法或B方法輔助進行判別分類，即采用R方法或B方法中的一種，以實現分類的目標。R方法簡單易懂，不再贅述。下麵重點介紹如何使用B方法對被試進行判別分類。

不難發現，第一類被試的判別分類結果實質上提供了關於此次測驗情境中的各種理想反應模式的分布信息，能夠較好地體現當前被試群體的能力分布特點，這些已有的信息將有助於對第二類被試的分類判別。例如，當被試i的觀察反應模式同時與理想反應模式I1和I2的海明距離最小時，若第一類被試中I2的判別人數更多，則有理由認為被試的屬性掌握模式是I2所對應的理想掌握模式的概率更大。故利用第一類被試的判別結果計算每種理想反應模式的後驗概率，計算方法如下：

其中，N為當前被試群體的總人數，n為在這N個被試中屬性掌握模式為第t種理想反應模式對應的理想掌握模式的被試人數。考慮到實際測驗情境，被試樣本的能力分布的不規則性，使得當前被試群體中屬性掌握模式為第t種理想反應模式對應的理想掌握模式的被試人數可能為0，即Pt=0，對於此種情形，可以分為下麵兩種情況並進行相應的處理。

①與被試i的觀察反應模式的海明距離相同且均為最小值的多個理想反應模式中，部分理想反應模式的Pt=0，此時仍可使用B方法。

②與被試i的觀察反應模式的海明距離相同且均為最小值的多個理想反應模式的Pt均為0，則使用R方法對被試進行判別分類。

有研究者（DiBello，Stout，2007）認為，模型的參數應該足夠複雜，以便提供盡可能多的診斷信息，但是在擬合數據的情況下，模型的參數也應該足夠簡單，以滿足實踐者的需求。因此，當兩種認知診斷評價方法具有同等水平的分類準確性時，更加簡單易用的認知診斷評價方法顯然更佳，DINA模型就是其中的典型代表。與現有的認知診斷評價方法相比，這裏所介紹的HDD方法在具有較高的分類準確率的同時，並沒有引入額外的參數，具有零參數的特點，不需要進行參數估計。因此，可以避免由模型參數擬合及估計方法的誤差而導致分類準確率下降的不良後果。與此同時，不需要理解模型參數特點及進行參數估計也使HDD方法的具體使用步驟非常簡單。理論上，隻要獲取被試的實際作答反應數據，進行簡單的加減運算即可對被試進行診斷分類。運用HDD方法還可以大大降低中小學一線教師理解和實施認知診斷評價的難度，有助於認知診斷測驗的推廣和應用。但零參數的特點有利也有弊，弊在於HDD方法無法同其他認知診斷方法一樣獲得項目參數，也就無法實現對項目性能的量化描述。因此，在1、0計分的認知診斷測驗中，當需要獲取項目參數時，可考慮使用其他認知診斷方法。另外，該方法的應用有效性還需要在更多的實測數據支持下進行進一步的驗證。

HDD方法中的B方法的分類準確率相對於R方法而言更高，但B方法對於樣本容量較為敏感。當後驗概率不準確時，B方法的分類準確率必然會受到影響，R方法便適用於此種情況。故建議在實施認知診斷評價時，當被試量較小時，可以使用R方法；當被試量較大時，則改用B方法可以得到更好的分類效果。

本章小結

在有了測驗屬性定義和測試樣本數據後，通過合適的統計分析方法，就可以推斷被試對測驗屬性的掌握狀態，從而做出診斷性評價。統計分析方法可以描述和揭示被試特質水平、題目特性、題目屬性與作答結果之間的邏輯關係。對這幾者邏輯關係認識不同，就會產生不同的統計分析方法。即使對其邏輯關係認識相近，也可能會產生不同的實現路徑。對分析方法本身複雜度的認識同樣也會影響方法的建構模式。

實現認知診斷評價的方法或模型非常多，超過100個，每個方法或模型都有它的優勢和不足。為此，我們提出選擇某種合適的方法或模型的一些建議。首先，既簡單又有效是模型或方法選擇的最佳標準。有效是評價的目標，簡單包括參數和實現過程的簡化。許多方法或模型宣稱具有更好的擬合度或精確性，如果根據其分析結果，這種改進隻是在已經非常好的結果的基礎上進行的微小改進，那麽這類新模型的價值就不大，除非其顯得更加簡單。其次，適應性更強的模型是更好的選擇。有些模型具有更好的拓廣性，適用於更多的數據情境，甚至可以將許多模型作為其特例，那麽這類模型就具有更強的應用價值。

參數化分析方法、半參數化分析方法和完全非參數化分析方法能夠從不同的路徑實現認知診斷評價的目標，並且有各自的優勢和不足。

思考題

1.在認知診斷評價工作中，如何選擇一個合理的認知診斷模型？

2.分析各類認知診斷模型在應用中的優勢和劣勢。