系統評價/Meta分析常用

質量評價工具簡介杜亮華西期刊社/中國循證醫學中心2013.5.181可編輯課件PPT提綱一、背景二、RCT的質量評價工具三、觀察性研究的質量評價工具四、非隨機實驗性研究的質量評價工具五、診斷性研究的質量評價工具六、動物實驗的質量評價工具七、SR/Meta分析（MA）的質量評價工具2可編輯課件PPT一、背景

1.1為什么要進行質量評價？真假難辨——誠信、政策、監督好壞可評——質量評價工具造假造假垃圾垃圾+=？+=？3可編輯課件PPT1.2質量評價評什么？什么決定研究的好壞？其結果接近真實情況，穩定偏倚程度小（可能出現在研究設計、實施、結果分析的整個過程）集中反映在研究報告的方法學部分高質量報告≠高質量研究4可編輯課件PPT1.3質量的定義試驗設計產生無偏倚結論的可能性（內部真實性）——JadadAR，牛津大學，1996在設計與研究過程中反映結論真實性的一系列因素，這些因素與臨床試驗的內部真實性、外部真實性和統計分析有關——VerhagenAP，荷蘭馬斯特里赫特大學，19985可編輯課件PPT1.4相關名詞真實性是指研究的設計和實施中防止系統誤差或偏倚的程度，主要包括內部真實性與外部真實性內部真實性是指單個研究結果接近真實值的程度，即受各種偏倚因素，如選擇偏倚、實施偏倚、失訪偏倚及測量偏倚的影響情況。外部真實性又稱適用性或外部有效性，主要指研究結果是否可以應用于研究對象以外的其他人群，即結果的使用價值與推廣應用的條件，主要與研究對象的特征、干預措施和結局的選擇標準有關。6可編輯課件PPT1.4相關名詞對偏倚的認識是質量評價的核心偏倚（bias）又稱系統誤差，是指研究的結果或推論偏離真實值，或導致這種偏離的過程，也可以說在資料收集、分析、解釋或發表過程中，能夠導致結論系統地與真實值有所不同的任何趨勢選擇偏倚、實施偏倚、損耗偏倚、測量偏倚、報告偏倚、其他偏倚7可編輯課件PPT1.4相關名詞質量評價（qualityassessment）是評估單個研究在設計、實施、結果分析整個過程中可能出現各種偏倚的程度。質量評價工具則是依據這些可能出現的偏倚的各個方面設計的。主要有3種類型：條目（component/items）一覽表或清單（checklist）量表（scale）8可編輯課件PPT1.5臨床流行病學研究設計分類是否由研究者分配暴露試驗性研究（是）觀察性研究（否）是否隨機分配是否設立比較組非隨機對照試驗（否）隨機對照試驗（是）分析性研究（是）描述性研究（否）同期對照試驗非同期對照試驗平行試驗交叉試驗隊列研究（暴露→結局）病例對照研究（暴露→結局）橫斷面研究監測個案或病例系列報告9可編輯課件PPT二、RCT的質量評價工具RCT是實驗性研究設計中的“金標準”AHRQ研究顯示，涉及RCT的評價工具共20種量表、11種清單及1種組成部分的評價工具和7類指導性文件RCT：采用隨機分配方法（隨機數字表、計算機隨機序列、拋硬幣法等）將受試者分入不同處理組。CCT：采用半隨機分配方法（按入院順序、住院號、研究對象生日的奇偶）分配到不同處理組。10可編輯課件PPT2.1Cochrane偏倚風險評估工具

CJEBM干預類SR中67.6%使用領域條目說明選擇偏倚1.隨機序列產生2.分配隱藏實施偏倚3.對研究者和受試者施盲測量偏倚4.研究結果盲法評價隨訪偏倚5.結果數據的完整性報告偏倚6.選擇性報告研究結果其他偏倚7.其他偏倚來源11可編輯課件PPT2.2Jadad量表

Jadadscale

CJEBM干預類SR中12.1%使用1996年由Jadad等發布最初目的是為了評價疼痛治療的RCT質量，從隨機方案及其隱匿、盲法、退出與失訪病例的原因及數量3方面進行評價采用0-5分計分法，≤2分為低質量，≥3分為高質量優點：簡單明了，直接評價經驗證的、與試驗效應估計中的偏倚有直接關系的試驗特征缺點：存在諸多不組，如未考慮分配隱藏推薦：將Jadad量表與隱蔽分組的評價結合起來12可編輯課件PPT2.2Jadad量表

Jadadscale評價指標內容記分隨機未隨機/不清楚/假隨機0提及“隨機”，但未描述具體的隨機方法1采用“隨機”，并描述了正確的隨機方法2盲法未實施雙盲/假雙盲0提及“雙盲”，但未描述具體的施盲方法1采用“雙盲”，并描述了正確的施盲方法2退出/失訪未提及0描述退出/失訪例數及原因113可編輯課件PPT2.3Delphi清單由馬斯特里赫特大學Verhagen及其同事1998年依據Maastricht和Chalmers量表，遵照Delphi法制作針對RCT的內部有效性、外部有效性和統計分析3個方面共8個條目，其中第1條又分為兩個部分采用“是”、“否”、“不清楚”進行判斷缺點：基于專家共識而非實驗數據14可編輯課件PPT2.3Delphi清單是，否，不清楚選擇偏倚1.治療分組：是否采用隨機分組是否采用分配隱藏選擇偏倚2.重要結局基線是否相似選擇偏倚3.清楚描述受試者入選條件測量偏倚4.對結果評價者施盲實施偏倚5.對研究者施盲實施偏倚6.對受試者施盲？7.提供主要結局的點估計值和可信區間隨訪偏倚8.意向治療分析15可編輯課件PPT2.4PEDro量表

PhysiotherapyEvidenceDatabase

物理治療證據數據庫，1999，喬治中心的物理治療循證中心序號條目記分1清楚描述受試者納入標準每個條目1分，采用“是”、“否”進行判斷2隨機分配3分配隱藏4重要指標基線相似5受試者盲法6治療師盲法7評價者盲法8*>85%的受試者進行至少一項主要結局測量9有測量結果受試者需遵方案治療，或行意向治療分析10*對至少一項主要結局的組間統計進行報告11提供至少一項主要結局的點估計值和可信區間基于Delphi清單制作，*在Delphi清單基礎上增加的條目16可編輯課件PPT2.5Chalmers量表1981年由Chalmers等提出分一般情況記錄、研究方案、統計分析、結果陳述4部分，36個條目，均為經驗條目一般情況不參與記分，研究方案、統計分析、結果3部分按6：3：1權重記分，共27個條目，總分100分缺點：實施繁瑣、耗時；部分內容與報告質量混淆17可編輯課件PPT

三、觀察性研究的質量評價工具非實驗性研究（隊列、病例-對照、橫斷面），未加干預，允許事件自然發展與RCT相比，更易受（選則性）偏倚風險影響（橫斷面>病例-對照>隊列）2005年，劍橋大學SimonSanderson等研究顯示：86種觀察性研究質量評價工具：19%→病例-對照；27%→隊列；7%→橫斷面45%→病例-對照/隊列；15%→3種設計2010年，明尼蘇達大學TatyanaShamliyan等研究顯示：96種觀察性研究質量評價工具（46量表，51清單）：21.88%→隊列；13.54%→病例-對照；5.21%→橫斷面18可編輯課件PPT3.1NOS量表

TheNewcastle-OttawaScale紐卡斯爾-渥太華量表（TheNewcastle-OttawaScale,NOS）3大塊（人群選擇、可比性、暴露評價或結果評價），8個條目采用星級系統的半量化原則，滿分隊列研究為13顆星，病例-對照研究9顆星被Cochrane協作網的非隨機研究方法學組用于培訓，并被推薦使用。免費下載網址http://www.ohri.ca/programs/clinical_epidemiology/oxford.asp19可編輯課件PPT3.1.1隊列研究NOS量表條目評價標準研究人群選擇暴露組的代表性如何真正代表人群中暴露組的特征；一定程度上代表了人群中暴露組的特征；選擇某類人群，如護士、志愿者；未描述暴露組來源情況。非暴露組的選擇方法與暴露組來自同一人群；與暴露組來自不同人群；未描述非暴露組來源情況。暴露因素的確定方法固定的檔案記錄（如外科手術記錄）；采用結構式訪談；研究對象自己寫的報告；未描述。確定研究起始時尚無要觀察的結局指標是；否。20可編輯課件PPT3.1.1隊列研究NOS量表條目評價標準組間可比性設計和統計分析時考慮暴露組和未暴露組的可比性研究控制了最重要的混雜因素；研究控制了任何其他的混雜因素（此條可修改用以說明特定控制第二重要因素。結果測量研究對于結果的評價是否充分盲法獨立評價；有檔案記錄；自我報告；未描述。結果發生后隨訪是否足夠長是（評價前規定恰當的隨訪時間）；否。暴露和非暴露組的隨訪是否充分隨訪完整；有少量研究對象失訪但不至于引入偏倚（規定失訪率或描述失訪情況）；有失訪（規定失訪率）但未行描述；未描述隨訪情況21可編輯課件PPT3.1.2病例-對照研究NOS量表條目評價標準研究人群選擇病例確定是否恰當恰當，有獨立的確定方法和人員；恰當，如基于檔案記錄或自我報告；未描述。病例的代表性連續或有代表性的系列病例；有潛在的選擇偏倚或未描述。對照的選擇與病例同一人群的對照；與病例同一人群的住院人員為對照；未描述。對照的確定無目標疾病史（端點）；未描述來源。22可編輯課件PPT3.1.2病例-對照研究NOS量表條目評價標準組間可比性設計和統計分析時考慮病例和對照的可比性研究控制了最重要的混雜因素；研究控制了任何其他的混雜因素（此條可以進行修改用以說明特定控制第二重要因素）暴露因素的測量暴露因素的確定固定的檔案記錄（如外科手術記錄）；采用結構式訪談且不知訪談者是病例或對照；采用未實施盲法的訪談（即知道病例或對照的情況）；未描述采用相同的方法確定病例和對照組暴露因素是；否。無應答率病例和對照組無應答率相同；描述了無應答者的情況；病例和對照組無應答率不同且未描述23可編輯課件PPT3.2橫斷面研究的質量評價工具—JBI量表

JBIPACES(JoannaBriggsInstitute,PracticalApplicationofClinicalEvidenceSystem)

澳大利亞循證護理中心（1996年建立，31國設分中心，2004年復旦）的在線臨床證據評鑒系統條目評價標準1該研究的研究目的是否明確？立題依據是否充分？0分：不符合要求；1分：提及，但未詳細描述；2分：詳細、全面、正確描述。2研究人群是如何選擇的（是否隨機選取研究對象，是否采取了分層抽樣以提高樣本的代表性）？3是否清晰地描述了樣本的納入及排除標準？4是否清晰地描述了樣本特征？5資料收集的工具是否具有信度和效度（如采用調查員調查，調查結果的可重復性如何）？6核實資料真實性的措施是什么？7是否考慮到倫理問題？8統計方法是否正確？9對研究結果的陳述是否恰當、準確（結果和推論是否區分開來，結果是否忠實于數據而不是推論）？10是否對研究價值進行了清晰的闡述？24可編輯課件PPT3.3橫斷面研究—AHRQ清單

AgencyforHealthcareResearchandQuality條目是否不清楚1是否明確了資料的來源（調查、文獻回顧）？2是否列出了暴露組和非暴露組（病例和對照）的納入及排除標準或參考以往的出版物？3是否給出了鑒別患者的時間階段？4如果不是人群來源的話，研究對象是否連續？5評價者的主觀因素是否掩蓋了研究對象其他方面情況？6描述了任何為保證質量而進行的評估（如對主觀結局指標的檢測/再檢測）7解釋了排除分析任何患者的理由8描述了如何評價和（或）控制混雜因素的措施9如果可能，解釋了分析中是如何處理丟失數據的10總結了患者的應答率及數據收集的完整性11如果有隨訪，查明預期患者不完整數據所占的百分比或隨訪結果25可編輯課件PPT3.4橫斷面研究—Combie量表

1996年IainCrombie在ThePocketGuidetoCriticalAppraisal一書中提出條目評價標準1設計科學是：1分；否：0分；不清楚：0.5分。如某條目不適合判定的研究，則以“—”表示，并計1分。總分：7.0分。A級：6.0-7.0分B級：4.0-5.5分C級：<4.0分2數據收集策略合理3報告了樣本應答率4樣本對總體的代表性好5研究目的和方法合理6報告了檢驗效能7統計方法合理26可編輯課件PPT3.5經驗總結、案例分析及專家意見—JBI量表條目評價標準1是否清晰地描述了引用文章的來源？0分：不符合要求；1分：提及，但未詳細描述；2分：詳細、全面、正確描述。2是否清晰地闡述了撰寫該文章的目的？3作者在該領域是否具有影響力？4作者所推薦的觀點或建議是否以患者利益為中心？5作者所推薦的觀點或建議是否具有邏輯性？6作者對其觀點或建議的分析是否合適？7用于支持作者所推薦的觀點或建議的引用文獻是否充分？8作者所推薦的觀點及建議與以往文獻是否有不一致的地方？27可編輯課件PPT四、非隨機實驗性研究的質量評價工具并非所有的臨床試驗都可以設計成隨機對照試驗2003年，牛津大學J.J.Deeks等全面評價了2000年以前發表的非隨機試驗性研究評價工具：213種工具量表清單各占一半14種為最佳工具，其中6種可用于SR28可編輯課件PPT4.1MINORS量表

MethodologicalIndexforNon-randomizedStudies序號條目提示1明確地給出了研究目的所定義的問題應該是精確的且與可獲得文獻有關2納入患者的連貫性所有具有潛在可能性的患者（滿足納入標準）都在研究期間被納入了（無排除或給出了排除的理由）3預期數據的收集收集了根據研究開始前制定的研究方案中設定的數據4終點指標能恰當地反映研究目的明確地解釋用來評價與所定義的問題一致的結局指標的標準。同時，應在意向性分析的基礎上對終點指標進行評估5終點指標評價的客觀性對客觀終點指標的評價采用評價者單盲，對主觀終點指標的評價采用評價者雙盲。否則，應給出未性盲法評價的理由6隨訪時間是否充分隨訪時間應足夠長，以使得能對終點指標及可能的不良事件進行評估7失訪率低于5%應對所有患者進行隨訪。否則，失訪比例不能超過反映主要終點指標的患者比例8是否估算了樣本量根據預期結局事件的發生率，計算了可檢測出不同研究結局的樣本量及其95%CI；且提供的信息能夠從顯著統計學差異及估算把握度水平對預期結果與實際結果進行比較29可編輯課件PPT4.1MINORS量表

MethodologicalIndexforNon-randomizedStudies序號條目提示用于評價有比較組的附加標準9對照組的選擇是否恰當對于診斷性試驗，應為診斷的“金標準”；對于治療干預性試驗，應是能從已發表研究中獲取的最佳干預措施10對照組是否同步對照組與試驗組應該是同期進行的（非歷史對照）11組間基線是否可比不同于研究終點，對照組與試驗組起點的基線標準應該具有相似性。沒有導致使結果可能解釋產生偏倚的混雜因素12統計分析是否恰當用于計算可信區間或相對危險度（RR）的統計資料是否與研究設計類型相匹配30可編輯課件PPT五、診斷性研究的質量評價工具診斷性試驗評價運用診斷試驗后對改善患者的治療/預后效果，多采用隨機對照設計，此時質量評價方法與RCT相同評價診斷試驗的準確性31可編輯課件PPT5.1QUADAS工具

QualityAssessmentofDiagnosticAccuracyStudies英國約克大學PennyWhiting等遵照Delphi法于2003年制定目前唯一經嚴格評價和驗證的診斷性研究質量評價工具2008年被Cochrane協作網推薦為Cochrane診斷性試驗準確性SR的質量評價標準32可編輯課件PPT5.1QUADAS工具

QualityAssessmentofDiagnosticAccuracyStudies序號條目是否不確定1疾病譜是否包含了各種病例及易混淆的病例疾病譜基于文章報告的或從作者處獲取的信息，您認為研究納入的患者病例譜能代表臨床實踐中接受該檢查的患者群研究招募的是健康對照組或已知患有目標疾病的患者組；或您認為研究人群不符合您評價方案中事先界定的可接受標準（考慮的因素包括疾病流行率、嚴重程度、年齡、性別）信息不足無法作出判斷2研究對象的選擇標準是否明確選擇標準您認為涉及研究如何選擇受試者的所有相關信息均已提供研究的選擇標準沒有明確報告研究僅報告了部分選擇標準，并且您認為現有信息不足以將條目評價為“是”3*金標準是否能區分有病無病狀態金標準您認為金標準能夠準確區分目標疾病或已是現有的最佳方法您認為金標準不太可能準確區分目標疾病判斷依據不足4金標準和待評價試驗檢測的間隔時間是否足夠短，以避免出現疾病病情的變化疾病進展偏倚是否應將該條目評價為“是”取決于目標疾病。對于進展迅的疾病，即使間隔數日都可能非常重要，比如金標準和待評價試驗的間隔時間非常短，約數小時或數日，則該條目應評價為“是”；但對于慢性病，疾病狀態可能不會在1周、1個月、甚至更長時間內發生變化，此時雖然金標準和待評價試驗的檢測間隔時間較長，也可評價為“是”若您認為金標準和待評價試驗的檢測間隔時間足夠長，其間疾病狀態可能已經發生變化所提供的信息不足33可編輯課件PPT5.1QUADAS工具

QualityAssessmentofDiagnosticAccuracyStudies序號條目是否不確定5是否所有樣本或隨機選擇的樣本均接受了金標準試驗部分參照偏倚從研究報告中可清楚地判斷，所有接受了待評價試驗的換則或隨機選擇患者均通過金標準證實了其疾病狀態（即使所有患者接受的金標準檢測不盡相同）部分接受了待評價試驗的患者沒有通過金標準證實其真實的疾病狀態，且接受金標準檢測的患者不是隨機選擇的研究未報告該信息6是否所有病例無論待評價試驗的結果如何，都接受的相同的金標準試驗多重參照偏倚從研究報告中可清楚地判斷，患者通過相同的金標準證實了其真實的疾病狀態部分患者通過另一種不同的金標準證實研究未報告該信息7金標準試驗是否獨立于待評價試驗（即待評價試驗不包含在金標準中）混合偏倚從研究報告中可清楚地判斷，待評價試驗不是金標準的組成部分待評價試驗是金標準的組成部分研究未報告該信息8*待評價試驗的操作是否描述的足夠清楚且可進行重復待評價試驗的實施可參考第9條34可編輯課件PPT5.1QUADAS工具

QualityAssessmentofDiagnosticAccuracyStudies序號條目是否不確定9*金標準試驗的操作是否描述的足夠清楚且可重復金標準的實施研究報告了或引用了足夠詳細的信息保是了待評價試驗和金標準的重復性研究未報告或引用了足夠詳細的信息保證了待評價試驗和金標準的可重復性僅描述了試驗實施過程的部分信息，您認為沒有足夠的證據將該條目評價為“是”10待評價試驗的結果判讀是否是在不知曉金標準試驗結果的情況下進行的試驗解讀偏倚可參考第11條11金標準試驗結果判讀是否是在不知曉待評價試驗結果的情況下進行的金標準解讀偏倚研究明確指出試驗結果（待評價試驗或金標準）的判讀是在不知道另一項試驗結果下進行的情況并非是“是”研究未報告該信息12當解釋試驗結果時可獲得的臨床資料是否與實際應用中可獲得的臨床資料一致臨床解讀偏倚臨床實際判讀試驗時通常都能夠獲取臨床資料，且研究判斷待評價試驗時也能夠獲取類似的資料；或臨床實際應用時不能獲取臨床資料，且判讀待評價試驗結果時也不能獲取這些資料情況并非是“是”研究未報告該信息35可編輯課件PPT5.1QUADAS工具

QualityAssessmentofDiagnosticAccuracyStudies序號條目是否不確定13是否報告了難以解釋/中間試驗結果難以解釋的試驗結果從研究報告中可清楚地判斷，包括難以解釋的/不確定的/中間試驗的結果在內的所有試驗結果均已報告您認為事實上已經出現了這樣的結果，但研究沒有報告無法確定是否所有的試驗結果均已報告14對退出研究的病例是否進行解釋退出病例從研究報告中可清楚地判斷，進入研究的所有患者的情況均已報告，如受試者的流程圖發現進入研究的部分受試者并未完成研究，即沒有接受待評價試驗和金標準的檢測，且研究報告沒有對這些患者作出說明無法確定是否對進入研究的所有患者都作出了說明*Cochrane協作網的篩查和診斷性研究方法學組（DTA）建議的非必須條目36可編輯課件PPT六、動物實驗的質量評價工具動物實驗SR/MA的目的后效評估動物實驗，回顧性比較動物模型是否使用適當；降低將動物實驗所獲結果引入臨床的風險設計類型類似臨床研究，多為RCT質量評價方法原則上可應用臨床研究的相應方法特殊性：必須注重評價其可重復性和內部真實性37可編輯課件PPT6.1STAIR清單

TheInitialStrokeTherapyAcademicIndustryRoundtable序號條目1樣本量計算2納入與排除標準3隨機序列產生4隱藏實驗動物分組方案5報道將動物排除分析的原因6結局的盲法評價7聲明潛在的利益沖突及研究資助38可編輯課件PPT6.2CAMARADES清單

CollaborativeApproachtoMetaAnalysisandReviewofAnimalDataFromExperimentalStroke序號條目1樣本量計算2隨機序列的產生3*盲法缺血誘導4結果的盲法評估5適當的動物模型6*應用無明顯內在神經保護活性的麻醉藥7*有溫度控制的說明8遵守動物保護法9論文經同行評審后發表10聲明潛在利益沖突*表示此條目在其他動物實驗質量評價中可根據需要進行相應的調整39可編輯課件PPT七、SR/MA的質量評價工具—AMASTAR量表

Ameasurementtoolfortheassessmentofmultiplesystematicreviews2007年由荷蘭VrijeUniversitet大學醫學研究中心和研制加拿大渥太華大學的臨流專家聯合11個條目，條目形成基礎：OQAQ（OverviewQualityAssessmentQuestionnaire）的10個條目SQAC（SacksQualityAssessmentChecklist）的24個條目文種偏倚、發表偏倚、灰色文獻40可編輯課件PPT7.1SR/MA的質量評價工具—AMASTAR量表

Ameasurementtoolfortheassessmentofmultiplesystematicreviews序號條目是否不知道不可用1是否提供了前期方案2納入研究的選擇和資料提取是否具有可重復性3是否進行了全面的文獻檢索4發表狀態是否已考慮在納入標準中，如灰色文獻5是否提供了納入和排除的研究清單6是否描述納入研究的基本特征7是否評價和報道了納入研究的科學性8是否恰當地運用納入研究的科學性推導結論9合成納入研究結果的方法是否恰當10是否評估了發表偏倚的可能性11是否報告了利益沖突41可編輯課件PPTCJEBM發表SR/MAAMASTAR評價結果

ChinJofEvid-BasedMed,2013,13(5).AMSTAR條目完整報告部分報告未報告n（%）95%CIn（%）95%CIn（%）95%CI1.是否提供了前期方案2（0.53）（0.1，2.1）0-377（99.47）（97.9，99.9）2.納入研究的選擇和資料提取是否具有可重復性137（36.15）（31.5，41.1）176（46.44）（41.5，51.5）66（17.41）（13.9，21.6）3.是否進行了全面的文獻檢索240（63.33）（58.4，68.0）125（32.98）（28.4，37.9）14（3.69）（2.2，6.1