元分析是一種定量分析手段。它運(yùn)用一些測量和統(tǒng)計(jì)分析技術(shù),總結(jié)和評價已有的研究。元分析過程中,最重要的是判定研究結(jié)果,即對研究結(jié)果進(jìn)行統(tǒng)計(jì)顯著性水平檢驗(yàn)和效果量的測定。

第一次使用“元分析”這個概念的人是美國學(xué)者格拉斯，他在1976年美國教育研究聯(lián)合會(American Education Research Association)的發(fā)言致辭中首次提出元分析概念。格拉斯認(rèn)為，元分析是一種對分析的分析，具有以下主要特點(diǎn)：

(1)元分析是一種定量分析方法，它不是對原始數(shù)據(jù)的統(tǒng)計(jì)，而是對統(tǒng)計(jì)結(jié)果的再統(tǒng)計(jì)；

(2)元分析應(yīng)該包含不同質(zhì)量的研究；

(3)元分析尋求一個綜合的結(jié)論。

元分析可以成為跨研究評判結(jié)果的一件有力工具。即使許多研究者已經(jīng)樂意接受元分析的概念了，可還有一些人基于若干理由而質(zhì)疑它的有用性。本節(jié)探討元分析的一些缺點(diǎn)，并為克服這些缺點(diǎn)而提出一些建設(shè)性的解決方法。

評估被評論的研究的質(zhì)量 在一家期刊里可見的研究之質(zhì)量取決于期刊的編輯政策。有些期刊有嚴(yán)格的發(fā)表標(biāo)準(zhǔn)，而另一些的發(fā)表標(biāo)準(zhǔn)就不太嚴(yán)格。這就意味著發(fā)表的研究之質(zhì)量在不同的期刊間會有很大差別。

元分析面臨的一個問題是如何處理參差不齊的研究質(zhì)量。例如，在一家非同儕評審的期刊上發(fā)表的文章應(yīng)該與在一家需同儕評審的期刊上發(fā)表的文章一視同仁嗎?遺憾的是對這個問題沒有簡單的答案。Rosenthal(1984)建議按照質(zhì)量來對文章加權(quán)。

應(yīng)該沿什么維度來對研究加權(quán)呢?這毫無一致意見。需一非同儕評審的維度雖然是可以的，但是你采用這個維度時也要當(dāng)心，因?yàn)橐患移诳遣皇峭瑑娫u審的，這并不是發(fā)表的研究之質(zhì)量的可靠指標(biāo)。在一個新的領(lǐng)域里用新方法做的研究有時會被同儕評審的期刊拒絕，盡管這家期刊在方法學(xué)上是健全的，也是高質(zhì)量的。類似地，在同儕評審的期刊發(fā)表的作品雖然有助于你確信該研究的質(zhì)量是高的，但不保證高質(zhì)量。

可以依著而對研究加權(quán)的第二個維度是方法學(xué)上的健全性，而不考慮期刊的質(zhì)量。Rosenthal(1984)提出讓若干方法學(xué)專家對每項(xiàng)研究打質(zhì)量分(可以用一個從0到l0的量表)。質(zhì)量評定可以做兩次：一次在單獨(dú)讀了方法部分之后；另一次是在讀了方法和結(jié)果兩部分之后(Rosenthal，1984)。這樣的評定是要檢查評分者間信度的，然后才用來在元分析里對每一項(xiàng)研究的貢獻(xiàn)大小進(jìn)行加權(quán)。

用不同的方法合并與比較研究 對元分析的常見批評是難以理解怎么可能對材料、量器以及方法都廣泛不同的諸研究做比較。這個問題通稱為“蘋果與桔子之爭”(Glass，1978)。

對元分析的這種批評雖常見，卻無效。Rosenthal(1984)和Glass(1978)指出，比較不同的研究結(jié)果與在一個普通實(shí)驗(yàn)里對異質(zhì)被試作平均化是毫無不同的。如果你愿意接受對被試作平均化，那也就能接受對異質(zhì)研究作平均化(Glass，1978；Rosenthal，1984)。

關(guān)鍵問題不是應(yīng)不應(yīng)該在異質(zhì)研究之間做平均，而毋寧說是不同的研究方法會不會帶來不同的效應(yīng)規(guī)模。因此Rosenthal指出，當(dāng)某一被試變量成了研究中的一個問題時，你經(jīng)常會“膠著”在這個被試變量上以確定它是如何與出現(xiàn)的差異相關(guān)聯(lián)的。同樣的，如果方法學(xué)的差異顯得與研究結(jié)果有關(guān)聯(lián)，那么在一項(xiàng)元分析里，研究也要停下來考察方法學(xué)(Rosenthal，1984)。

實(shí)際問題 元分析的工作是一項(xiàng)艱巨的工作。對同一問題做實(shí)驗(yàn)，可以使用很不同的方法與統(tǒng)計(jì)技術(shù)。還有，某些研究也許沒有提供必要的信息可做元分析。例如Roberts(1985)只能用38項(xiàng)研究來做他的態(tài)度一記憶關(guān)系的元分析。有些研究因?yàn)闆]提供足夠的信息，所以得剔除掉。Robert也報(bào)告說，當(dāng)一篇文章說F值小于1(文章里經(jīng)常這樣做)時，他就對F賦值以零。信息不足或不準(zhǔn)確的問題(與文件柜問題相伴)會導(dǎo)致你的元分析里的研究樣本沒有代表性。誠然，偏差也許是小的，卻也是存在的。

元分析的結(jié)果不同于傳統(tǒng)述評的結(jié)果嗎? 傳統(tǒng)的述評產(chǎn)生的結(jié)果是不是與元分析的結(jié)果有質(zhì)的不同?這的確是個問題。為回答這個問題，Cooper和Rosenthal(1980)直接比較了這兩種方法。他們把研究生和教授隨機(jī)分配于做元分析或做傳統(tǒng)述評，材料是7篇文章，講述被試性別對作業(yè)堅(jiān)持性的影響。其中兩篇研究認(rèn)為女性比男性更有堅(jiān)持性，而另5篇要么沒有統(tǒng)計(jì)數(shù)據(jù)，要么顯示沒有顯著效應(yīng)。

這一研究的結(jié)果顯示了使用元分析的參與者比使用傳統(tǒng)方法的參與者更有可能得出性別對堅(jiān)持性有影響的結(jié)論。另外，比之于做元分析的參與者，做傳統(tǒng)述評的參與者認(rèn)為性別對堅(jiān)持性的影響小?？偲饋砜矗褂迷治龅膮⑴c者有68％愿意斷言性別對堅(jiān)持性有影響，而只有27％使用傳統(tǒng)方法的參與者有此傾向。用統(tǒng)計(jì)學(xué)的話來說，做元分析者比傳統(tǒng)述評者更愿意拒絕性別無影響的虛無假設(shè)。因此使用元分析來評判研究會導(dǎo)致Ⅱ型決策錯誤的降低。(Cooper&Rosenthal，1980)。

Cooper＆Rosenthal(1980)也報(bào)告說，元分析樣組與傳統(tǒng)述評樣組在評判被述評研究的方法學(xué)上沒有能力差別。還有，兩個樣組在對該領(lǐng)域的未來研究提出的建議方面也無差別。大部分的參與者認(rèn)為該領(lǐng)域的研究應(yīng)該繼續(xù)下去。

最后，值得注意的是，使用元分析本身要求的統(tǒng)計(jì)學(xué)進(jìn)路與對傳統(tǒng)實(shí)驗(yàn)數(shù)據(jù)做統(tǒng)計(jì)分析的研究策略是一樣的。當(dāng)我們得到一個實(shí)驗(yàn)的結(jié)果時，我們不會只打量(“盯著”)數(shù)據(jù)，看看是否存在什么模式或關(guān)系。相反，在大多數(shù)情況下，我們用統(tǒng)計(jì)分析來評判關(guān)系是否存在。同樣的，與其“盯著”諸研究而猜測可能的關(guān)系，還不如把一項(xiàng)統(tǒng)計(jì)分析應(yīng)用于不同研究的結(jié)果，以見是否存在有意義的關(guān)系，這會更好。

元分析要具有可復(fù)制性，不僅應(yīng)盡可能多地檢驗(yàn)搜集來的研究樣本，觀察它們是否可以凸顯出某種單項(xiàng)研究顯現(xiàn)不出的潛藏規(guī)律，還應(yīng)該清楚地描述自己是如何發(fā)現(xiàn)這些研究及如何對它們作分析的，以便他人進(jìn)行評價。因此，元分析必須遵循詳盡、嚴(yán)格的研究步驟。

1．確定研究目的

確定研究目的也就是組織研究框架。在收集研究之前，首先必須確定研究中想要探索的文獻(xiàn)領(lǐng)域及將要包括的題目范圍。元分析涵蓋的題目有時很寬泛，但其核心必須界定清楚，而且應(yīng)該建立一套挑選研究樣本的“包含”與“排除”標(biāo)準(zhǔn)，這樣可以幫助一起合作的研究者在面對同一群文獻(xiàn)時能夠運(yùn)用同樣的標(biāo)準(zhǔn)去查找或分析研究。

確定研究目的時，還需要充分理解自己所要分析的概念及使用的方法，就像確定實(shí)驗(yàn)研究中的自變量和因變量一樣，確定所要研究的效果量及結(jié)果。

2．徹底的文獻(xiàn)搜索

通過包括計(jì)算機(jī)網(wǎng)絡(luò)在內(nèi)的各種手段進(jìn)行徹底的文獻(xiàn)搜索，也就是研究樣本的搜索，這對元分析的有效性非常重要，是綜合研究得出結(jié)論的基礎(chǔ)。對文獻(xiàn)樣本的收集可根據(jù)Rosenthal(1984)提出的大概分類標(biāo)準(zhǔn)：

書：包括作者的原著、幾位作者共同合編的書及書的某些章節(jié)；

期刊：包括專業(yè)期刊、已出版發(fā)表的時事通訊、雜志及報(bào)紙；

論文：包括博士論文、碩士論文及學(xué)士論文；

未發(fā)表的研究：包括某些技術(shù)報(bào)告、學(xué)術(shù)報(bào)告、大會論文及將要發(fā)表的論文。

3．確定適合的研究樣本

選擇符合研究框架的研究樣本是元分析的關(guān)鍵。要考慮多種問題，如它的研究設(shè)計(jì)，文章發(fā)表的時間，文章使用何種語言表述，研究中的樣本大小及信息是否完整等等。

一般而言，盡可能選擇最新的研究。對于未被選中的資料在分析中也要說明，這樣就可以清楚明了地表明這些研究曾經(jīng)發(fā)表過，并非經(jīng)過一段時間將它們遺漏，只是沒有作為設(shè)計(jì)的一部分包括進(jìn)研究內(nèi)。同時如果在研究中僅選擇了以母語或英語表述的文章，就要說明這樣做的理由。

另外，如果看到某一類研究在相似的題目上有多重報(bào)告，那么就選擇其中一個信息較為完整的研究，使同一類型研究中的信息對元分析只貢獻(xiàn)一次。盡量排除小樣本的研究。如果選擇了縱向跟蹤研究，則要盡早決定跟蹤研究的時限。

4．定義變量及對變量編碼

在收集、選擇了元分析的文獻(xiàn)后，必須確定在元分析中要檢驗(yàn)何種研究特征，這些特征就是元分析的變量。一般有以下四種變量：(1)識別背景特征的變量。這類變量包括入選研究樣本的數(shù)量，研究樣本的參考文獻(xiàn)，對研究編碼的人數(shù)(一般要求至少兩人以上)，研究資料的來源等。(2)識別樣本特征的變量。這類變量包括被試的特征，如性別、年齡、民族、受教育水平、社會經(jīng)濟(jì)狀況等。(3)識別研究特征的變量。這類變量包括研究的理論架構(gòu)，研究設(shè)計(jì)，研究采用的工具，研究測量的效應(yīng)類型以及其他。如果可能，這類變量可以幫助解釋研究方法與結(jié)果之間的關(guān)系。(4)識別統(tǒng)計(jì)特征的變量。這類變量包括兩類統(tǒng)計(jì)值，一個是表現(xiàn)平均值差異的效果量d，這需要關(guān)注每一個研究中的平均數(shù)、標(biāo)準(zhǔn)差和樣本大小。另一個是表現(xiàn)關(guān)系的相關(guān)系數(shù)r，這需要關(guān)注每一個研究中的相關(guān)系數(shù)及相關(guān)的測量統(tǒng)計(jì)值。

在界定了用來測量研究的變量之后，還需要為每一個變量編碼數(shù)據(jù)。對于每一個元分析而言，都應(yīng)該有一套界定好的數(shù)據(jù)編碼系統(tǒng)，不同的數(shù)字代表了每一類變量中不同的水平情況。如關(guān)于性別，若樣本中僅有男性，編碼系統(tǒng)可將其編碼為1，若樣本中僅有女性，則可編碼為2，若既有男性又有女性，則可編碼為3，如果樣本未對性別作明確說明，則可用999(缺失值)進(jìn)行編碼。研究者需要對所有的分析變量進(jìn)行編碼。

5．研究數(shù)據(jù)的錄入

元分析中搜集來的有關(guān)各樣本研究特征的數(shù)據(jù)，需要錄入一個相關(guān)的統(tǒng)計(jì)軟件包進(jìn)行分析?！霸y(tǒng)計(jì)”軟件包是由Rudner、Evartt和Emery規(guī)劃設(shè)計(jì)的，其中包含有Glass、Hedges、Olkin、Schmidt和Hunter及其他學(xué)者的大量元分析理論，如Hedges的同質(zhì)性檢驗(yàn)，Rosenthal和Rubin的聚合顯著性水平分析，以及近似隨機(jī)化檢驗(yàn)及效果量大小計(jì)算等等。該軟件包還可以提供大量的程序來幫助完成數(shù)據(jù)錄入、統(tǒng)計(jì)分析和圖表分析，數(shù)據(jù)錄入的形式既可以依據(jù)標(biāo)準(zhǔn)碼的形式也可以依據(jù)SPSS的固定格式。

6．運(yùn)用多種統(tǒng)計(jì)技術(shù)探索、展現(xiàn)數(shù)據(jù)

在進(jìn)行復(fù)雜的元分析之前，應(yīng)先對一些基礎(chǔ)的數(shù)據(jù)特征進(jìn)行分析，特別是錄入數(shù)據(jù)后最好做一個簡單頻次分布圖與散點(diǎn)圖，來觀察數(shù)據(jù)錄入是否合理或者在所有欲分析的研究中是否有非常明顯的異常數(shù)據(jù)存在。如果有，則可用軟件包中提供的相應(yīng)處理異常數(shù)據(jù)的方法來盡早地修正或遠(yuǎn)離它們。對于具體采用哪些元分析技術(shù)，要根據(jù)研究目的來決定。一般地，需要計(jì)算各研究樣本的效果量及總效果量的大小，計(jì)算對總效果量估計(jì)的置信區(qū)間以及對各研究樣本的同質(zhì)性檢驗(yàn)。面對不同質(zhì)的樣本要做敏感性分析，即根據(jù)研究質(zhì)量的評定對研究樣本分層，可劃分為兩層或多層，然后對每一層分別進(jìn)行分析，同時對比其結(jié)果。