元分析是一種定量分析手段。它運用一些測量和統(tǒng)計分析技術(shù),總結(jié)和評價已有的研究。元分析過程中,最重要的是判定研究結(jié)果,即對研究結(jié)果進行統(tǒng)計顯著性水平檢驗和效果量的測定。

第一次使用“元分析”這個概念的人是美國學(xué)者格拉斯，他在1976年美國教育研究聯(lián)合會(American Education Research Association)的發(fā)言致辭中首次提出元分析概念。格拉斯認為，元分析是一種對分析的分析，具有以下主要特點：

(1)元分析是一種定量分析方法，它不是對原始數(shù)據(jù)的統(tǒng)計，而是對統(tǒng)計結(jié)果的再統(tǒng)計；

(2)元分析應(yīng)該包含不同質(zhì)量的研究；

(3)元分析尋求一個綜合的結(jié)論。

元分析可以成為跨研究評判結(jié)果的一件有力工具。即使許多研究者已經(jīng)樂意接受元分析的概念了，可還有一些人基于若干理由而質(zhì)疑它的有用性。本節(jié)探討元分析的一些缺點，并為克服這些缺點而提出一些建設(shè)性的解決方法。

評估被評論的研究的質(zhì)量 在一家期刊里可見的研究之質(zhì)量取決于期刊的編輯政策。有些期刊有嚴格的發(fā)表標準，而另一些的發(fā)表標準就不太嚴格。這就意味著發(fā)表的研究之質(zhì)量在不同的期刊間會有很大差別。

元分析面臨的一個問題是如何處理參差不齊的研究質(zhì)量。例如，在一家非同儕評審的期刊上發(fā)表的文章應(yīng)該與在一家需同儕評審的期刊上發(fā)表的文章一視同仁嗎?遺憾的是對這個問題沒有簡單的答案。Rosenthal(1984)建議按照質(zhì)量來對文章加權(quán)。

應(yīng)該沿什么維度來對研究加權(quán)呢?這毫無一致意見。需一非同儕評審的維度雖然是可以的，但是你采用這個維度時也要當心，因為一家期刊是不是同儕評審的，這并不是發(fā)表的研究之質(zhì)量的可靠指標。在一個新的領(lǐng)域里用新方法做的研究有時會被同儕評審的期刊拒絕，盡管這家期刊在方法學(xué)上是健全的，也是高質(zhì)量的。類似地，在同儕評審的期刊發(fā)表的作品雖然有助于你確信該研究的質(zhì)量是高的，但不保證高質(zhì)量。

可以依著而對研究加權(quán)的第二個維度是方法學(xué)上的健全性，而不考慮期刊的質(zhì)量。Rosenthal(1984)提出讓若干方法學(xué)專家對每項研究打質(zhì)量分(可以用一個從0到l0的量表)。質(zhì)量評定可以做兩次：一次在單獨讀了方法部分之后；另一次是在讀了方法和結(jié)果兩部分之后(Rosenthal，1984)。這樣的評定是要檢查評分者間信度的，然后才用來在元分析里對每一項研究的貢獻大小進行加權(quán)。

用不同的方法合并與比較研究 對元分析的常見批評是難以理解怎么可能對材料、量器以及方法都廣泛不同的諸研究做比較。這個問題通稱為“蘋果與桔子之爭”(Glass，1978)。

對元分析的這種批評雖常見，卻無效。Rosenthal(1984)和Glass(1978)指出，比較不同的研究結(jié)果與在一個普通實驗里對異質(zhì)被試作平均化是毫無不同的。如果你愿意接受對被試作平均化，那也就能接受對異質(zhì)研究作平均化(Glass，1978；Rosenthal，1984)。

關(guān)鍵問題不是應(yīng)不應(yīng)該在異質(zhì)研究之間做平均，而毋寧說是不同的研究方法會不會帶來不同的效應(yīng)規(guī)模。因此Rosenthal指出，當某一被試變量成了研究中的一個問題時，你經(jīng)常會“膠著”在這個被試變量上以確定它是如何與出現(xiàn)的差異相關(guān)聯(lián)的。同樣的，如果方法學(xué)的差異顯得與研究結(jié)果有關(guān)聯(lián)，那么在一項元分析里，研究也要停下來考察方法學(xué)(Rosenthal，1984)。

實際問題 元分析的工作是一項艱巨的工作。對同一問題做實驗，可以使用很不同的方法與統(tǒng)計技術(shù)。還有，某些研究也許沒有提供必要的信息可做元分析。例如Roberts(1985)只能用38項研究來做他的態(tài)度一記憶關(guān)系的元分析。有些研究因為沒提供足夠的信息，所以得剔除掉。Robert也報告說，當一篇文章說F值小于1(文章里經(jīng)常這樣做)時，他就對F賦值以零。信息不足或不準確的問題(與文件柜問題相伴)會導(dǎo)致你的元分析里的研究樣本沒有代表性。誠然，偏差也許是小的，卻也是存在的。

元分析的結(jié)果不同于傳統(tǒng)述評的結(jié)果嗎? 傳統(tǒng)的述評產(chǎn)生的結(jié)果是不是與元分析的結(jié)果有質(zhì)的不同?這的確是個問題。為回答這個問題，Cooper和Rosenthal(1980)直接比較了這兩種方法。他們把研究生和教授隨機分配于做元分析或做傳統(tǒng)述評，材料是7篇文章，講述被試性別對作業(yè)堅持性的影響。其中兩篇研究認為女性比男性更有堅持性，而另5篇要么沒有統(tǒng)計數(shù)據(jù)，要么顯示沒有顯著效應(yīng)。

這一研究的結(jié)果顯示了使用元分析的參與者比使用傳統(tǒng)方法的參與者更有可能得出性別對堅持性有影響的結(jié)論。另外，比之于做元分析的參與者，做傳統(tǒng)述評的參與者認為性別對堅持性的影響小?？偲饋砜?，使用元分析的參與者有68％愿意斷言性別對堅持性有影響，而只有27％使用傳統(tǒng)方法的參與者有此傾向。用統(tǒng)計學(xué)的話來說，做元分析者比傳統(tǒng)述評者更愿意拒絕性別無影響的虛無假設(shè)。因此使用元分析來評判研究會導(dǎo)致Ⅱ型決策錯誤的降低。(Cooper&Rosenthal，1980)。

Cooper＆Rosenthal(1980)也報告說，元分析樣組與傳統(tǒng)述評樣組在評判被述評研究的方法學(xué)上沒有能力差別。還有，兩個樣組在對該領(lǐng)域的未來研究提出的建議方面也無差別。大部分的參與者認為該領(lǐng)域的研究應(yīng)該繼續(xù)下去。

最后，值得注意的是，使用元分析本身要求的統(tǒng)計學(xué)進路與對傳統(tǒng)實驗數(shù)據(jù)做統(tǒng)計分析的研究策略是一樣的。當我們得到一個實驗的結(jié)果時，我們不會只打量(“盯著”)數(shù)據(jù)，看看是否存在什么模式或關(guān)系。相反，在大多數(shù)情況下，我們用統(tǒng)計分析來評判關(guān)系是否存在。同樣的，與其“盯著”諸研究而猜測可能的關(guān)系，還不如把一項統(tǒng)計分析應(yīng)用于不同研究的結(jié)果，以見是否存在有意義的關(guān)系，這會更好。

元分析要具有可復(fù)制性，不僅應(yīng)盡可能多地檢驗搜集來的研究樣本，觀察它們是否可以凸顯出某種單項研究顯現(xiàn)不出的潛藏規(guī)律，還應(yīng)該清楚地描述自己是如何發(fā)現(xiàn)這些研究及如何對它們作分析的，以便他人進行評價。因此，元分析必須遵循詳盡、嚴格的研究步驟。

1．確定研究目的

確定研究目的也就是組織研究框架。在收集研究之前，首先必須確定研究中想要探索的文獻領(lǐng)域及將要包括的題目范圍。元分析涵蓋的題目有時很寬泛，但其核心必須界定清楚，而且應(yīng)該建立一套挑選研究樣本的“包含”與“排除”標準，這樣可以幫助一起合作的研究者在面對同一群文獻時能夠運用同樣的標準去查找或分析研究。

確定研究目的時，還需要充分理解自己所要分析的概念及使用的方法，就像確定實驗研究中的自變量和因變量一樣，確定所要研究的效果量及結(jié)果。

2．徹底的文獻搜索

通過包括計算機網(wǎng)絡(luò)在內(nèi)的各種手段進行徹底的文獻搜索，也就是研究樣本的搜索，這對元分析的有效性非常重要，是綜合研究得出結(jié)論的基礎(chǔ)。對文獻樣本的收集可根據(jù)Rosenthal(1984)提出的大概分類標準：

書：包括作者的原著、幾位作者共同合編的書及書的某些章節(jié)；

期刊：包括專業(yè)期刊、已出版發(fā)表的時事通訊、雜志及報紙；

論文：包括博士論文、碩士論文及學(xué)士論文；

未發(fā)表的研究：包括某些技術(shù)報告、學(xué)術(shù)報告、大會論文及將要發(fā)表的論文。

3．確定適合的研究樣本

選擇符合研究框架的研究樣本是元分析的關(guān)鍵。要考慮多種問題，如它的研究設(shè)計，文章發(fā)表的時間，文章使用何種語言表述，研究中的樣本大小及信息是否完整等等。

一般而言，盡可能選擇最新的研究。對于未被選中的資料在分析中也要說明，這樣就可以清楚明了地表明這些研究曾經(jīng)發(fā)表過，并非經(jīng)過一段時間將它們遺漏，只是沒有作為設(shè)計的一部分包括進研究內(nèi)。同時如果在研究中僅選擇了以母語或英語表述的文章，就要說明這樣做的理由。

另外，如果看到某一類研究在相似的題目上有多重報告，那么就選擇其中一個信息較為完整的研究，使同一類型研究中的信息對元分析只貢獻一次。盡量排除小樣本的研究。如果選擇了縱向跟蹤研究，則要盡早決定跟蹤研究的時限。

4．定義變量及對變量編碼

在收集、選擇了元分析的文獻后，必須確定在元分析中要檢驗何種研究特征，這些特征就是元分析的變量。一般有以下四種變量：(1)識別背景特征的變量。這類變量包括入選研究樣本的數(shù)量，研究樣本的參考文獻，對研究編碼的人數(shù)(一般要求至少兩人以上)，研究資料的來源等。(2)識別樣本特征的變量。這類變量包括被試的特征，如性別、年齡、民族、受教育水平、社會經(jīng)濟狀況等。(3)識別研究特征的變量。這類變量包括研究的理論架構(gòu)，研究設(shè)計，研究采用的工具，研究測量的效應(yīng)類型以及其他。如果可能，這類變量可以幫助解釋研究方法與結(jié)果之間的關(guān)系。(4)識別統(tǒng)計特征的變量。這類變量包括兩類統(tǒng)計值，一個是表現(xiàn)平均值差異的效果量d，這需要關(guān)注每一個研究中的平均數(shù)、標準差和樣本大小。另一個是表現(xiàn)關(guān)系的相關(guān)系數(shù)r，這需要關(guān)注每一個研究中的相關(guān)系數(shù)及相關(guān)的測量統(tǒng)計值。

在界定了用來測量研究的變量之后，還需要為每一個變量編碼數(shù)據(jù)。對于每一個元分析而言，都應(yīng)該有一套界定好的數(shù)據(jù)編碼系統(tǒng)，不同的數(shù)字代表了每一類變量中不同的水平情況。如關(guān)于性別，若樣本中僅有男性，編碼系統(tǒng)可將其編碼為1，若樣本中僅有女性，則可編碼為2，若既有男性又有女性，則可編碼為3，如果樣本未對性別作明確說明，則可用999(缺失值)進行編碼。研究者需要對所有的分析變量進行編碼。

5．研究數(shù)據(jù)的錄入

元分析中搜集來的有關(guān)各樣本研究特征的數(shù)據(jù)，需要錄入一個相關(guān)的統(tǒng)計軟件包進行分析。“元統(tǒng)計”軟件包是由Rudner、Evartt和Emery規(guī)劃設(shè)計的，其中包含有Glass、Hedges、Olkin、Schmidt和Hunter及其他學(xué)者的大量元分析理論，如Hedges的同質(zhì)性檢驗，Rosenthal和Rubin的聚合顯著性水平分析，以及近似隨機化檢驗及效果量大小計算等等。該軟件包還可以提供大量的程序來幫助完成數(shù)據(jù)錄入、統(tǒng)計分析和圖表分析，數(shù)據(jù)錄入的形式既可以依據(jù)標準碼的形式也可以依據(jù)SPSS的固定格式。

6．運用多種統(tǒng)計技術(shù)探索、展現(xiàn)數(shù)據(jù)

在進行復(fù)雜的元分析之前，應(yīng)先對一些基礎(chǔ)的數(shù)據(jù)特征進行分析，特別是錄入數(shù)據(jù)后最好做一個簡單頻次分布圖與散點圖，來觀察數(shù)據(jù)錄入是否合理或者在所有欲分析的研究中是否有非常明顯的異常數(shù)據(jù)存在。如果有，則可用軟件包中提供的相應(yīng)處理異常數(shù)據(jù)的方法來盡早地修正或遠離它們。對于具體采用哪些元分析技術(shù)，要根據(jù)研究目的來決定。一般地，需要計算各研究樣本的效果量及總效果量的大小，計算對總效果量估計的置信區(qū)間以及對各研究樣本的同質(zhì)性檢驗。面對不同質(zhì)的樣本要做敏感性分析，即根據(jù)研究質(zhì)量的評定對研究樣本分層，可劃分為兩層或多層，然后對每一層分別進行分析，同時對比其結(jié)果。