「デ−タ解析で出会う統計的問題 -- 多重検定と多重比較をめぐって」

(04.12.16補足)以下では多重比較の方法について述べていません。青木先生のHPをおすすめします。http://aoki2.si.gunma-u.ac.jp/
 
 生態学会のときに聞けなかった自由集会の資料を読んでみる。説明が聞けなかったので残念ながらあまり深くは頭に入らない。多群間の比較をするときには、ファミリーワイズの過誤を5%にするために多重比較法で調整すべきというのはよく知られていることだ。しかし粕谷先生は、なんでもかんでも多重比較するという現在の傾向を「病気」と決め付けている。また久保さんは、AICのようなモデル比較の基準をむしろ用いるべきと考えているようだ。ああ、やっぱり聞いておくべきだったか。
 私自身は多重比較はScheffe, Tukey, Dunnetくらいしか使わない。その方法を使う理由は説明できるようにしたいとは一応思ってはいるが、レフェリーに指摘されてもなぜそうするかよくわからん場合も多い。観測を何回もするとかえって検出力が落ちる、というのはなんとも納得がいかない(つまり、観測回数全体で過誤をボンフェローニ調整する場合など)。
 また同じデータでも、適用できる多重比較の方法はいろいろあって、検出力に天と地ほどの差がある。それらのうちどれを使うかは、ほとんどその分野の慣例によっている(と思う)。「仮説をよく考えないと、必要のないところを調整してしまう恐れがある」というのはもっともなれど、完璧にそこらへんを使いわけている実験屋って実際いるんだろうか?

 以前笑い話で助手の先生にこんなことを話したことがあるが、どうなのだろう。やっぱりアホですか。
(1)データセットを用意
(2)現在自分が考えうるすべての統計解析をして、それぞれのp値を出す。
(3)こうして得られたp値の分布を作製。
(4)p値自体のmean±2SEの範囲をt分布で推定。
(5)今後新しい検定法が考案されたり普及しても、それによるp値は95%の確率で(4)で推定された範囲の中。
(7)安心
(8)(゜д゜)ウマー