多重比較シミュレーション
このアプリは多重比較問題を視覚的に説明するためのものです。
ボックスは、多重比較の対象の各群を表します。
- グループを順序のあり/なしに応じて配置し、比較をラインで表しています。
- ボックスの大きさはサンプルサイズ (n) を表します
- 中に表示されている数値は「陽性数/サンプルサイズ」です
- 色分けの高さは陽性の割合を示しています
- コントロール群は赤い枠で表示されます
赤ラインの太さは有意水準以下の場合のp値を表します。 補正方法を選択すると、それぞれの多重比較補正を適用した場合の結果が表示されます。
多重比較の問題
複数の検定を同時に行うと、少なくとも1つの偽陽性 (第一種の過誤) が発生する確率が高まります。 例えば、α=0.05で20個の独立した検定を行うと、少なくとも1つの偽陽性が発生する確率は64%以上になります。
補正方法はこの問題に対処するためのものです。
用語
- 第一種の過誤（偽陽性）: 実際には差がないのに、誤って「有意差あり」と判断すること
- 第二種の過誤（偽陰性）: 実際には差があるのに、誤って「有意差なし」と判断すること
- FWER (Family-Wise Error Rate): 少なくとも1つの偽陽性が発生する確率
- FDR (False Discovery Rate): 「有意」と判定された結果のうち、実際には偽陽性である割合
- 検出力: 実際に存在する差を正しく検出できる確率
- 有意水準 (α): 検定で用いる閾値。通常0.05（5%）が使われる
- p値: 観測されたデータが、帰無仮説が真であるという前提の下で得られる確率
比較設定
統計情報
比較の数: {{ comparisons.length }}
補正なしの有意な比較: {{ getSignificantCount('none') }} / {{ comparisons.length }}
{{ getCorrectionMethodName(activeCorrection) }}後の有意な比較: {{ getSignificantCount(activeCorrection) }} / {{ comparisons.length }}
理論的な第一種の過誤率 (FWER): {{ getTheoreticalFWER() }}
補正方法の選択
比較情報一覧
#{{getGroupById(comp.group1).id + 1}} vs #{{getGroupById(comp.group2).id + 1}}
比較データがありません
比較タイプ
コントロールとの比較: 一つの標準群（コントロール）と他の全ての群を比較します。これはDunnettテストのようなシナリオに相当し、新薬と標準薬の比較などで用いられます。
全ペア比較: すべての可能なペアを比較します（{{ numGroups }}群の場合、{{ Math.floor(numGroups * (numGroups - 1) / 2) }}個の比較）。これはTukeyテストのようなシナリオに相当し、複数の処理効果を網羅的に比較する場合に適しています。
隣接比較: 順序のある群で隣り合う群のみを比較します。これは用量反応関係や時系列データの分析など、順序性が意味を持つ場合に適しています。
多重比較補正の方法
Bonferroni補正: 最も単純かつ厳格な方法で、有意水準をα/n（nは比較数）に下げるか、
p値をp×nで補正します。FWERを厳密に制御しますが、比較数が多いと検出力が低下します。
Holm補正: p値を小さい順に並べ、段階的に判定基準を調整する方法です。
最小のp値はα/n、次はα/(n-1)というように緩和されていきます。
Bonferroniと同様にFWERを制御しつつ、より高い検出力を維持します。
Benjamini-Hochberg法: 偽発見率（FDR、全ての「有意」とされた結果のうち実際は偽陽性である割合）を制御する方法です。
p値を小さい順に並べ、各p値と（rank/n）×αを比較します。
FWERではなくFDRを制御するため、より高い検出力を持ち、探索的研究やスクリーニングに適しています。
- 確認的研究ではFWER制御（BonferroniかHolm）が適切
- 探索的研究ではFDR制御（Benjamini-Hochberg）が有用
- 比較数が少ない場合は補正なしでも問題が少ない
- 比較数が多い場合はHolmやBenjamini-Hochbergのような検出力を維持する方法が推奨される