Frequency of discrepancies in retracted clinical trial reports versus unretracted reports: blinded case-control study
BMJ 2015;351:h4708
科学における不正がいろいろと言われる昨今ですが，見ぬくのはなかなか難しいものです．
比較的簡単な矛盾点が3つ以上あれば，感度70%, 特異度66%でretractが予測出来たというものです．
古い文献も含まれており，最近の論文にはそのような矛盾点は減っているとは思いますが，一つの参考にはなるかもしれません．
blinded case-control study.
CASE: 2012年12月の時点で"retracted publication”を検索（1983年から2012年）し，ランダムに50個選ぶ．
CONTROL: CASEの一つ前の論文（同じ雑誌から選んでいる）
3人のblindされた科学者（MDという記載はなく，その分野の専門家ではない）がそれぞれ，矛盾点をピックアップし，上司もう一人加えた計4人でdiscussionし，全員の合意が得られたもののみを矛盾点とする．
矛盾点のtypesは以下の様なもの．
①possible percentages: 23 of 57 (42%)の様に，％の計算が間違っている．40%になるはず．
②impossible percentages: 31.2％ of 200 patientsの様にありえない数字．200人なら0.5%が一人なので，0.5の倍数になるはず．
③factual discrepancies: 二箇所で書いてあることが矛盾している．
④impossible summary statistics: ICU滞在中央値 13日，（ICU滞在期間14日から444日）のような矛盾．
⑤arithmetical errors: 患者の合計が合わない．
⑥missed P values: baselineで有意差がないと嘘ついている． EF 29.4 (SD 12.7; n=191)と 36.1 (SD 13.8; n=200)と記載あるのに有意差なし．平均値，標準偏差，ｎが与えられれば，p値は求まるはず．ここではp<0.001となるとのこと．おそらくt検定を行っているのだろう．状況によってはノンパラメトリックでないと行けないかもしれない．
⑥以外はそこまで手間はかからない印象．
Outcome
矛盾点がretractされた論文で多いかどうか．
Statistical analysis
paired control, non-parametricなので，Wilcoxon signed-rank testを行う．
Regression analysisも行っており，矛盾点Oというデータも多いため，zero inflated, negative bionominal model，いわゆる0 inflatedの負の二項回帰モデルを使用し，単変量解析，多変量解析を行っている．
Sensitivity analysisやPropensity scoreは行っていない．
結果
pared comparisonは上記の様な感じ．右側のretracted reportsの方がぱっと見でも矛盾点が多い．最大35個．多すぎでしょう．．．
ちなみにretractされた理由は，misconduct(嘘があった) 46%，errors(間違いがあった) 18%，plagiarism(パクリ) 14%，duplication(重複) 10%．12%は不明．
結局，348の矛盾点がretract論文，131の矛盾点がunretract論文で見つかった．（それにしても多い）
有意差を持って矛盾点がretract論文で多かった．差の中央値 4 (interquartile range 2-8.75)
Regression analysisでは以下の様なもの．
zero inflatedなのでややこしいですが，多変量解析では，Binominal componentで，有意にRetract論文で矛盾点が多い結果．1.79 (1.07 - 2.99)
Excess zero component（ざっくり言えば大きい方が良い：値が小さい方が，その群の論文は矛盾点が0の可能性が低いということ）では，有意にretract論文で小さい傾向．0.14 (0.03 - 0.67)
発表年，impact factor，引用文献数は有意差がなかった様です．
他にも，矛盾点のタイプ別で見るとこんな感じ．
有意差が出たのは，書いてあることが矛盾している，合計の数が合わない，baselineのp値がウソの3つ．
矛盾点の数でretractが予想できるかというものでは以下の様なもの．
3つ以上だと，感度 70%，特異度 66%で予測できるという結果．
読んでみて．
担当が僕でしたので，また変わったものを選んでみました．
retractまで行かなくても，やっぱりうさんくさい論文は，いろんなところに問題抱えているのだろうという印象．一事が万事という感じでしょうか．
しかし，最近の論文でここまで酷いものはないと思うので，こういった矛盾点も減っていくのでしょうね．
しかしながら，比較的簡単な矛盾点で，その論文の信頼性が予測できるというのは悪く無いように思います．