統計コンサルの議事メモ

統計や機械学習の話題を中心に、思うがままに

統計数理研究所公開講座「統計の哲学を理解するために」参加記録

1/31に開催された統計数理研究所公開講座「統計の哲学を理解するために」に参加してきましたのでそのメモを共有しておきます。全体的にはエリオット・ソーバーという尤度主義者から見た頻度主義・ベイズ主義に対する批判的観点の紹介という構成で、それぞれの立場が答えようとしている問いが浮き彫りになるような内容でした。

なおこの講義は「科学と証拠」という書籍に基づいています。とても面白い本です。

科学と証拠―統計の哲学 入門―

科学と証拠―統計の哲学 入門―

また最後に、あまり時間がなくて駆け足での紹介となっていましたが、Deborah Mayoによる「誤り統計学」について簡単に紹介がありました(松王先生曰く世界初の資料、とのこと)。

Statistical Inference as Severe Testing: How to Get Beyond the Statistics Wars

Statistical Inference as Severe Testing: How to Get Beyond the Statistics Wars


日時

2020/1/31 10:00@立川

講師

北海道大学 松王政浩

エリオット・ソーバー

  • アメリカの代表的な科学哲学者
  • 尤度主義 + AICを支持
  • 著書
    • 科学と証拠
    • OCKHAM'S RAZORSの翻訳がでる予定

統計学論争は終わっていない

  • Statistical Inference as Severe Testing
    • Deborah Mayo
      • 頻度主義
  • 有意検定論争、レシピ的な統計学の食い止め

統計の哲学

  • 統計の基礎をめぐる議論の総体
  • 哲学は常に論争で成り立ち、結論には到達しない
    • ベイズ主義
      • 信念度合い
        • 主観
        • 客観
    • 頻度主義
      • ネイマン-ピアソン
        • 無限回の施行を前提とした考えた
      • フィッシャー
        • 相対頻度、推測確率
  • 統一的見解を示したものはないので各主義を学ぶしかない
    • ベイズ
      • 実態が捉えにくい
      • 意思決定中心、科学的仮説の確証中心(科学哲学)、ベイズ統計の流儀
      • バーガー&ウォルパート(1988)、ゲルマン(一連)
    • 頻度主義
      • Mayoのものは包括的だがわかりにくい
    • 尤度主義
      • コンパクトでわかりやすい
      • ソーバーやロイヤルは話が短く論点が明快だが排他主義

3つの主義

  • ロイヤルの3つの問い
    • 証拠をもとに何がわかるか → 尤度主義
      • 静的現在主義、外在主義
      • データが直接示している「仮説に関する情報(証拠)」をキャッチせよ
      • いったんデータが得られたら他のデータの可能性は捨象せよ
    • 証拠をもとに何を信じるか → ベイズ主義
      • 動的現在主義、内在主義
      • 他のデータの可能性は一切捨象せよ
      • データが「(可能な)仮説に関する情報」をどう変化させるかキャッチせよ
    • 証拠をもとに何をするべきか → 頻度主義
      • 反事実主義、規約主義
      • この場で生じていることだけでなく、生じた可能性がある事柄もすべて併せて仮説について判断せよ
      • 低い確率を棄却のサインとみなそう、同じルールを何度も適用すれば誤りの可能性が低いのだから今回もそのルールを適用する

尤度「原理」について

  • ソーバーの議論の核となる2つの原理
    • 穏当な原理
      • もしEが真であると知ることによって命題Pを棄却することが正当化され、かつ、この情報を得てはじめてPの棄却が正当化されたのであれば、EはPに反する証拠とされねばならない
    • 全証拠の原理
      • 実験によって得られたデータはすべて証拠の判断に用いられなければならない
  • 尤度の法則とは異なる
    • 尤度主義、ベイズ主義の両方に共通する源泉
  • 尤度原理(LP)
    • xが観測されたあと、θについて推論(決定)する際に、実験について関係のあるすべての情報は、観測されたxに対する尤度関数に含まれている。さらに2つの尤度関数がθの関数として互いに比例の関係にあるなら2つの関数はθについて同じ情報を含んでいる
    • フィッシャーに由来
    • これを満たすか満たさないかで、陣営が分かれる
      • 満たす
      • 満たさない
        • 頻度主義
    • いまだ論争の火種
    • もしLPがパラメータ推定の根本原理であるなら、
      • P(x' | θi) = kP(x | θi) が成り立つときEv(E, x) = Ev(E', x')となるはず。Evは証拠、Eは実験
      • これが成り立たなければそのような結果をもたらす推論は不適切
      • バーンバウムが証明
        • 証明の是非は未決着
    • さらに遡ると
      • 十分性の原理
      • 条件付けの原理
      • これら2つの原理は統計学者なら誰でも受け入れられるはずの原理
      • これら2つの原理と尤度原理の等価性を「証明」(バーンバウム)、2つの原理を受け入れるなら尤度原理も受け入れないといけない
    • バーンバウムの問題意識
      • 統計学的に導ける証拠」が「実験における証拠」になっている
        • (E, x) と Ev(E, x) は区別される
          • (E, x)
            • パラメータ空間Ωについての記述
            • Eの可能な結果xのサンプル空間についての記述
          • Ev(E, x):実験的証拠
            • どう評価するか?
      • 解明のポイント
        • 2つの統計的証拠(E, x) と (E', y) が関係するあらゆる点で等しいと言える条件?
          • 統計的証拠(E, x) と (E', y) が関係するあらゆる重要な点で等しい時、 Ev(E, x) = Ev(E', y)
  • 尤度原理からの重要な帰結
    • サンプルスペース(可能だが実際には得られなかった確率変数の値)の無関係性
      • 重要な争点
      • 反事実の重要性を否定

ベイズ主義

  • デフィネッティ
    • 確率、賭け、信念の関係
      • 「合理的な賭けが成立するための条件」「確率の3つの規則」同じ条件
    • D.ギリース「確率の哲学理論」
  • サヴェッジ
    • Inductive inference と Inductive behavior
    • 後者がより重要
      • Inference
        • 意見を変えること
      • Behavior
        • 分布と最終的な行為の経済的事実を用いて最も期待効用の高いものを選ぶ
  • 主観的 vs 客観的
    • 信念変化の合理性
    • 基礎付け主義
    • 客観的事前確率
  • 哲学的ベイズ主義
  • 実用への転換
    • Lindley & Smithによる階層ベイズ
    • Gelfand & SmithによるMCMCの導入

尤度主義とは

  • グレムリン仮説
    • 哲学ではしばしば「説明可能性」と「確率」が結びつく
  • 尤度主義の限界
    • 区間を持った仮説(複合仮説)は考察の対象とならない
    • 尤度の平均を求めることは可能だが、事前分布が必要となる
    • ソーバーの立場
      • 頻度主義の統計テストは用いたくない
      • ベイズ主義はできるだけ控えたい
      • 結果
  • 尤度もモデルに依存するため恣意性が混じるが、なぜ尤度主義者はベイズ主義を批判できるのか?
    • ミスリーディング確率というものを用いることで客観性を保証できる、というのがソーバーの立場
  • ソーバーのAICの法則、どれぐらい使われているのか?
    • あまり

対頻度主義

  • フィッシャーの有意性検定
    • 単独の仮説に対する検定
    • 帰無仮説は正しいと証明されることはない
    • 確率論的モーダストレンスへの批判
  • ネイマン - ピアソン
    • 行為選択の規則