測驗領域認知模型的建構需要首先確立參考的架構,主要考慮模型建構的角度和維度的精細度(屬性粒度),然後在此架構基礎上建構一個合理的認知模型。

一、領域認知模型的參考架構

在進行認知診斷評價之前,需要先確定評價的目標及其具體內容是什麽。評價的內容可以從兩個角度進行分類:一是從任務內容的角度進行分類;二是從潛在特質結構的角度進行分類。

在測驗中,任務內容是被試麵對的問題形式,是具體呈現在被試麵前並需要給出解決方案和結果的題目。比如,小學數學考試就可能包括如下的具體任務:

6-2=? 4+5=? 9-2=? 3+7=?

這一類任務可以歸納為“10以內的加減”。小學數學考試可能還包括“進位加法”“兩位數相乘”“分數加減”等任務類別,語文考試就可能包括“拚音寫字”“組詞造句”“閱讀理解”等任務類別。被試對每類內容的掌握狀況會通過解答具體的、有代表性的題目任務來測量。當然,任務類別也可以包括更一般的內容,如數學類任務、語言類任務、藝術類任務、人際溝通類任務、機械操作類任務等。

潛在特質結構則指的是影響被試任務內容完成質量的內在心理結構。這些內在心理結構包括工作記憶中的信息加工效率、長時記憶中的信息存儲狀態、信息提取的過程,等等。比如,工作記憶的效率可能會影響信息整合的速度和質量,從而影響答題速度和質量,而長時記憶中存儲信息的完備性和概念網絡的合理性則會直接影響被試是否能夠完成任務。當然,潛在特質結構還包括概念內涵更廣的結構,如能力、智力、人格、態度、情緒等。

從以上敘述可以看出,任務內容的完成狀況受到潛在特質結構水平的影響,而潛在特質結構水平需要通過任務完成狀況來體現。

其實,當某一類任務包含的內容越廣、越一般化時,這類任務類別就會越接近潛在特質結構的分類方式。比如,把數學、語文、物理、化學等學科任務放在一起進行測量時,可以叫作學科任務,其實也就是心理學中的一個重要的潛在特質結構——學業智力的重要測量指標。而當把潛在特質結構進行更具體的分類時,這些結構就會越接近任務內容的分類方式。比如,能力可以包括學業能力、人際溝通能力、計劃組織能力等,而學業能力又可以繼續細分為語言能力、數字能力、運算能力等,語言能力又可以體現為語文任務和英語任務等的完成水平,等等。在認知心理學研究中,每種認知成分的研究總是需要使用具體的任務作為刺激材料,來誘導被試的加工進程,從而對該認知成分進行分析。當然,作為刺激材料的具體任務可能不同。

因此,任務內容和潛在特質結構是從具體到一般的連續體。同一項任務內容可能受到多個潛在特質結構的影響,而同一個潛在特質結構也可以通過不同的任務內容進行測量。

那麽,在對領域認知模型進行定義時,應該使用更一般的概念還是更具體的概念作為組織架構呢?這主要取決於這個目標領域的範圍廣度,領域範圍越廣,就越應該使用更一般的概念架構。比如,人格是心理學中範圍較廣的領域,能力是人格的一個維度,而能力也是一個範圍很廣的領域,它包括了許多方麵的能力特質,如語言能力、溝通能力、空間轉換能力等。語言能力又可以分為語言理解能力和語言表達能力,語言理解能力可以分為聽的能力和閱讀的能力,而語言表達能力可以分為寫作能力和口頭表達能力,等等。因此,一個範圍非常廣泛的領域很難用具體的任務概念來進行完整的描述。但是,一個範圍非常具體的領域就應該使用具體的任務進行描述,因為這樣可以使領域概念更加具體和易於操作。

另外,在給領域認知模型選擇合適的概念架構時,還可以從命題的角度進行考慮。因為作為某個領域測驗的題目,它需要有足夠的代表性,能代表測量的目標,還能保證測量結果的穩定性,同時題目總量又不能太多。作為任務或刺激材料的題目,總是會存在領域具體性的問題。因此,一般來說,領域越一般的概念需要越多的題目才能代表它的完整結構,而領域越具體的概念需要的題目量則越少。即使題庫的題目數量足夠大,但對被試的某一次測試來說,它的測量目標領域還是有限的,測試的題目量也是有限的。因此,對於測量的目標領域非常具體的測驗,可以從任務內容的角度進行分類,如各學科的單元測驗和學期測驗。當測量的目標領域更一般化時,需要使用更一般的概念,如升學考試的測量目標、工作中人才選拔的測量目標等。

通過具體任務來描述領域目標,這種方式的優勢是直接、直觀、易理解、易操作。然而,它存在的問題是列舉的任務內容可能沒有全麵真實地代表該領域的潛在特質結構;通過潛在特質結構來描述領域目標,這種方式的優勢是自上而下統合各類知識、技能和策略,具有較好的邏輯理論基礎,這種描述方式的不足是測量中難以操作化。比較好的解決辦法是將兩種領域目標的描述方式相結合,使自上而下的理論邏輯與自下而上的材料列舉有機統一。比如,語文能力評價中,首先研究確定語文能力的潛在特質結構,它包括語言的基礎理論知識和語言的實際應用能力。語言的實際應用能力包括語言理解能力和語言表達能力。語言表達能力包括書麵表達能力和口頭表達能力。書麵表達能力就體現在各類具體的任務工作中,如公文寫作、散文寫作、議論文寫作、敘事文寫作等,對於每類寫作任務又可以提出具體的要求。至此,語文能力評價目標就把潛在特質結構描述有機地與具體的問題任務結合在一起,既能夠較好地保證領域潛在特質結構的完備性,又能夠保證問題任務有較好的代表性。

二、領域認知模型的構建

在確定了定義領域目標的參考概念架構後,接下來就是要對測量目標的認知模型進行構建。認知模型的構建過程需要將文獻調查、專家定義和數據分析有機地結合在一起進行,具體步驟可以參考如下。

第一,研究人員對該領域有關的文獻進行詳盡的梳理,了解已有的關於該領域測量目標的定義。

第二,專家結合文獻資料,初步確立領域目標認知模型,包括測量的知識、技能、問題解決策略等,以及這些成分之間的結構關係。針對每個認知模型節點(每一種認知成分或任務類型),專家需要命製一些有代表性的示例題目(具體任務)來解釋它。

第三,將專家命製的示例題目組成試卷(假設專家定義的題目屬性正確,題目屬性定義和檢驗見下節內容),收集一批有代表性的被試測試數據。測試數據需要包括盡量詳盡的解題過程信息、被試作答過程中的出聲思考(think aloud)信息以及作答結果信息。

基於被試提供的詳盡的解題過程信息和出聲思考信息,可以具體分析被試在答題過程中使用到的知識點和解題的策略(protocol analysis)。對原始答題信息進行分析已經被公認為是一種有效的識別題目測量的具體知識成分及認知加工過程的方法。

另外,基於作答結果信息,我們還可以嚐試針對專家定義的認知模型進行被試離散性檢驗和題目作答關聯性檢驗。

被試離散性檢驗就是針對每個認知成分檢驗被試作答得分的離散性程度。離散性程度顯著偏低就需要考慮對定義的認知模型進行修訂。得分的離散性程度偏低可以分成兩種情形:一種是被試基本掌握了該認知成分,則應該考慮刪去該認知成分;另一種是被試基本未掌握該認知成分,如果的確屬於該群體的測量目標,那麽就應該將該認知成分進行進一步細分。

題目作答關聯性檢驗是檢驗題目所代表的認知成分之間的關係。簡單的檢驗方法就是檢驗每兩個存在關聯的認知成分之間的平均得分差異。作為前置條件的認知成分得分應該不低於作為後置條件的認知成分得分。