統計的「有意さ」について


  • Global Moderator

    @riffraff さん

    了解です。次章の前半も読みました。テロリスト判別プログラムの例がありました。P 値が有意であることは、判別結果がどれくらい信用できるかとは直接は関係ないと主張しているように読みました。

    フェイスブック参加者の内訳(人):

    テロリスト判定リストに載る テロリスト判定リストに載らない
    テロリスト 10 9990
    非テロリスト 99990 199890010

    このような仮想例が題材でした。ここから以下のように議論していました:

    非テロリストであった場合に、テロリスト判定リストに掲載されてしまう率は、99990/(99990+199890010) = 0.0005 なので、テロリスト判定リストに載った人は統計的に有意にテロリストと言える(※)。しかし、その人が実際にテロリストである率は、10/(10+99990)で、1万分の1の割合でしかない。

    この例で見ると、統計的に有意であることと、その効果の大きさや判別法の価値(正確さ)は、直接は関係ないことが自明である。しかし、実際の実験研究の発表を解釈する場合には、しばしば、それらが混同されることがある。

    その根本原因は、条件付き確率 P(テロリスト判定リストに載る|非テロリスト) と、P(非テロリスト|テロリスト判定リストに載る) のような、互いに異なる2つの確率を混同することである。統計的有意さは前者に関係するが、発表を見た人間が本当に知りたいのは後者である。

    こういう主張と私は読みました。


    ※著者は、ここで null hypothesis = 「ある人がテロリストでない」として P 値を計算しています。私はこれは null hypothesis に関する典型的な誤解と思いました。null hypothesis = 「テロリスト判定プログラムは、判定できていない」ではないでしょうか? このときの P 値 = (10+99990)/200000000 = 0.0005 で値はほとんど同じですが。
    自信がなくなってきたので消しておきます。

    ところで、最初のご紹介で

    対象読者を考えて数式をほとんど使っていない為、見通しが付けづらい点がありますが、これはないものねだりでしょう。

    とおっしゃっていた事が実感できました。数式がないので、ロジックを理解するために文章を延々読まないといけないのが苦痛になってくる部分があります。数式は伝達効率・正確度という面で優れていると再認識しました。



  • @ソムさん
    この章あたりは突っ込みどころ満載です。
    ベイジアン固有の問題もあればネイマン・ピアソン流の推計にも共通するものもあります。
    その一つが、ブレードランナーの原作のタイトル風にいえば「統計学者は辻占の夢をみるか」です。
    ベイジアン&ビッグデータの組み合わせではこのミスリーディングのリスクが高まると考えています。


  • Global Moderator

    @riffraff さん

    ベイジアン&ビッグデータの組み合わせではこのミスリーディングのリスクが高まると考えています。

    ベイズの確率論については、これまで深夜食堂で何度か話題になりました。「マンデイ・ホール・ショー」のモンティ・ホール問題の解釈や、「定説のない問題」、このスレッドでの p < 0.005 を有意とすべきとした提案書などでです。

    私にとって、ベイズの枠組み、特に、対象を観察することで、対象に関する信念(仮説・推定)が更新されていくという見方は、分かりやすいです。馴染みのある実験科学の考え方に非常に近いからだと思います。例えば2つの仮説A・Bがあったとき、Aの仮説のもとでより生じやすい現象Xを観察すると、Aの仮説が正しい確率が高くなる、というようなことです。モンティ・ホール問題で、ヤギの居る部屋を見る前後で、自分の選んでいた扉が当たりである確率が変わるということも、この枠組みで理解できます。

    確かに、事前確率が何かよく分からないケースはあります。また、例えば気象の観測データから、「明日、雨が降る確率は90%」というときのような、頻度主義を越えた確率について、確率って何?って思うときもあります。ただ、確率論を使うだけの立場からすると、ベイズの枠組みで問題が整理され、計算しやすくなることが多い気がしています。

    まだまだ全体像が見えているとは言えませんが、ベイズ関連はこのような感じに思っています。@riffraff さんが考えておられる高まるリスクがどのようなものか、ご意見をいただけると幸いです。


  • Global Moderator

    雑談です。

    @riffraff さんは、「ネイマン・ピアソン流の推計」とベイズの枠組みの検定・推定を比較して語っておられますが、私は、その背後にある、頻度主義とベイズ主義について書いています。

    ここからは、かなりスペキュレーションが入ります。

    頻度主義とベイズ主義は対立していると書かれることがあります。私が両者を使って思うのは、どちらがより正しい・完全だ、ということでなく、どちらも不完全ではないか?ということです。どちらも、モヤモヤと誤魔化しているところがあって、それぞれ、その部分をうまく避けて語ることで、立派な風を見せている感じです(笑

    誤魔化している点とは、例えば、頻度主義では、1回しか生じない不確かな現象の確率はどう定義するの?という点です。ベイズ主義では、主観確率(信念)って何?ってことです。

    これらの根本原因は、おそらくですが(さらにスペキュレーションの度合いが上がります)、どちらも、近似理論、あるいは、見かけの理論だからだと思います。この世界には、本当は確率などというものはないのに、便宜上、そのようなものがあるようにして計算しているので、どこかで無理が出て不完全な部分が現われるのでは?ということです。

    全くの感想でした。



  • @ソム さん

    母集団における様態の推計と未来における様態の推測は全く異なる問題です。
    ラフに言えば、これが無条件で同値になるのは
    ①母集団が通時的に変化しない。 この時だけです
    ベイジアンの場合は通時的な変化に追従しやすい分、病は深く時間の経過と伴にその予測パラメータリストはパーキンソンの法則に従う事になります。イテレーション(経時的是正)によってこの弊害は回避できるとするのがベイジアン的予測工学の立場でしょうが、カタストロフィックな事態には全く対処できないと考えています。
    とても保守的で、かつ経時的な連続性に懐疑的な元統計屋のコメントです。


  • Global Moderator

    @riffraff さん

    全く考えても居なかった方向からのご指摘です。感銘を受けました。コメント感謝します。
    (こう書くと嫌味っぽくも読めますが、文字通りに読んでください(笑

    サーズディ的思考の暴走が生じました。

    ベイズの枠組み、「対象を観察することで、対象に関する信念(仮説・推定)が更新されていくという見方」は、実験科学ではうまく働きます。それは、科学的真実は変化しない、繰り返せばほぼ同じことが起こるという前提があるからですね。観察を繰り返せば真実に収束していく。しかし、この枠組みは、変化する対象に通用するのか?

    繰り返しパターンもなく、刻一刻と変わっていく政局や、歴史・時局のようなものに、実験科学の方法が通じるのか?です。変化が無視できる短期間には成立するでしょう。しかし、実験をやっているうちに対象が変化する場合には、普通のやり方では通用しませんね。検証すべき仮説自体が変化を要求される。ベイズ推定も同じ問題を抱えるでしょう。

    この状況は、変化する環境に生物が適応しつづける動態、つまり進化に似たところがありそうです。推定と進化の間はどのように繋がるのか?という問題が出てきそうです。掘り下げてみる価値がありそうです。

    パースペクティブ

    問題:

    • パーキンソンの法則の回避
      • モデルの変化とともに、必要なパラメータが累積する問題をどうするのか? あらかじめすべてのパラメータを予知しておくことは不可能である。また、パラメータが限りなく増えていくことをどう防ぐか?

    応用問題(例):

    • 歴史学への実験科学の方法の拡張(レトロスペクティブな従来の方法を超えて)
    • 生物のように動的な環境を推定し対応できるロボットの基礎理論(固定パラメータの値が変化する従来の状況を超えて、モデル自体が変化する場合)

  • Global Moderator

    変化しない世界

    状態推定に用いる Bayes filter について勉強していると、この方法の前提として、Markov assumption というものが出てきます。例えば、以下のようなロボットの教科書です。
    "Probabilistic Robotics"

    A word is in order on the Markov assumption, or the complete state assumption, since it plays such a fundamental role in the material presented in this book. The Markov assumption postulates that past and future data are independent if one knows the current state x_t.

    http://www.probabilistic-robotics.org/

    センサーから得られるデータを元に、ロボットは自分の状態を推定し、行動し、それがまた、自分の状態を更新します。この繰り返しで動作します。これが Bayes filter です(正確には、そのロボティクスへの応用です)。

    このとき、Markov assumptionが意味するのは、センサーのデータに、システマティックな(=ランダムでない)影響を与えるのは、現在のロボットの状態だけであるということです。もしロボットの状態が決っている場合には、センサーからのデータが、過去と未来で独立であるということです。

    つまり、変化するのはロボットの状態だけで、世界は変化しないというモデルのようです。例えば以下の授業用スライド p.11 でも、
    https://people.eecs.berkeley.edu/~pabbeel/cs287-fa13/slides/bayes-filters.pdf
    Markov assumption の言っていることとして、"Static world"と書かれています。

    変化しない世界というのは現実味に欠け奇異に思えますが、Bayes filter がうまくいくには、この仮定が必要になってくるということなのでしょう。以下のような記述もありました:

    For clarity of the presentation, we will initially make the restrictive assumption that the environment is static. This assumption, called Markov assumption, is commonly made in the robotics literature.

    http://www.cs.cmu.edu/afs/cs/project/jair/pub/volume11/fox99a-html/node2.html


  • Global Moderator

    ご紹介:統計学の本の公開

    統計科学のための電子図書システム
    http://ebsa.ism.ac.jp/

    以下、サイトから趣旨を引用します:

    本サイトは, 著者, 出版社等の許可を得た統計科学に関わる書籍を電子化し,公開することを目的としています.
     統計科学, 中でもその理論に関わる書籍は年月の経過にも関わらず普遍的で有用な知見を有しているものが多くあります. しかしながら, 多くが実際に利用されることなく埋もれてしまっています. また, 過去に出版された優れた教科書等も時代の流れの中で散逸してしまっています. 一方, 近年のインターネット, 情報の電子化の技術の発展により, だれもが簡単に, 情報の電子化, 公開が可能な状況です.
     そこで本サイトでは, 著作権者等の協力を得, 絶版等で手に入らなくなった統計科学の理論及び応用に関する書籍を電子化し, 広く社会に公開することにより, 統計科学の一層の発展と実社会への普及をはかりたいと考えています.

    提供出版社一覧:

    • 朝倉書店
    • 河出書店
    • 共立出版
    • 東京大学出版部
    • 日科技連出版社

    以下で登録されている本のリストが分かるようです。
    http://ebsa.ism.ac.jp/docs/provision.php

    間違いでした。↑は一部であり、他にも登録されていました。



  • @ソム さん
    ご紹介有難うございます。
    話は変わりますが黒木学さんの統計的 因果推論 の本読み始めました。
    直観:Path Analysisの拡張進化版のように思えます。
    少し読み進んでからまた感想を書きます。


  • Global Moderator

    本屋の近刊の棚で、因果に関して論じた科学系の読み物を見つけました。恒例の?読んでいない本を薦めるコーナーです(笑

    物事のなぜ ― 原因を探る道に正解はあるか
    cover

    "The Why of Things: Causality in Science, Medicine, and Life" の翻訳本です。

    自然科学や医学、それから、人生においても、なぜそうなったのか?なぜそれが出来たのか?など原因と結果の関係は、多くの人の関心になっています。因果の考え方について幅広く論じているようです。著者は引退した医学系の研究者です。本屋でぱらぱらと見た限りにおいては、私があまり読まないタイプの、やや哲学よりの内容に見えました。しかし、歴史やバイオ研究からの具体的な事例が多く紹介されているような点は、興味を惹かれました。また、因果の論じ方を主題にする本は、これまで、ありそうでなかったように思います。皆さんのご参考までに。


  • Global Moderator

    因果関係の扱い(2)

    以前 Judea Pearl 博士の因果関係の扱いに関する教科書を紹介しました。
    この本は A Primer だったので、エッセンスが書かれており読みやすい面もあったのですが、ちょっと味気ない点もありました。今年の5月に同じ Pearl 博士の新しい本が出ているのを知り、 Kindle で購入して読んでいます。

    cover

    "The Book of Why: The New Science of Cause and Effect", by Judea Pearl and DanaMackenzie

    こちらは、人工知能の話、人類史がらみの話、統計史談義、博士自身の転向の個人史など、読み物として面白いです。数式的な難しさもほとんどありません。主張している因果の扱いについては、上記教科書と内容が近いのですが、より段階を踏んでかみ砕き、一般向けに書かれていると思いました。統計学の歴史に興味がある人や、ある種の事柄が、どのようにサイエンスから排除されたり、また、復権しえるかの知的冒険を楽しみたい方にお奨めだと思います。まだ全体の1/3ぐらいまでしか読んでいませんが、やめられない面白さです。深夜食堂でも話題になったモンティ・ホール問題や、シンプソンのパラドクスにも新たな光が当てられます。チューリング、サール、ダーウィン、ゴルトン、ピアソン、ライト、ベイズ、、、おなじみ?の人たちも登場します。

    Kindle版だと挿絵のダイヤグラムが低解像度で見にくいので、紙の本のほうがよかったかもしれないと思っています。



  • @ソム さん
    私の方にも書きましたが:
    「Take a Risk:林岳彦の研究メモ」でおなじみの林岳彦さんの因果推論についての素敵なプレゼンテーションを見つけました。とても分かり易くてチャーミングです。でも合意いたしません!(^^)!。
    考察部分における「因果推論の不可能性」についての論点については合意するものの、評価がまったく異なるからです。
    われながら頑固一徹。こうなると三河物語の大久保忠教(彦左衛門)です。全く(;'∀')

    https://www.slideshare.net/takehikoihayashi/ss-13441401


  • Global Moderator

    @riffraff さん

    ご紹介のプレゼン資料を見ました。
    元になっている文献がPearl博士のものなので当然かもしれませんが、confounderがらみの話(「バックドア基準」)は"The Book of Why"と同じ内容でした。

    Pearl博士の本のほうでは、早い段階からフィッシャーの RCT について出しています。まず、そこが統計的手法で因果関係を扱うときの統計学者の現状唯一の合意点であるというところからスタートし、RCTが現実的な理由で難しいときでも、もっと弱い制約のもとで、因果関係について統計的に論じることが可能であると議論を進めます。そのときに、因果ダイヤグラムを用いたconfounderの除去ルールによって、合理的に実験の解釈や計画が可能であるとします。たとえば、従来、統計的パラドクスと議論されてきた現象が、素直に理解できること、あるいは、confounderを除去しようとするあまり、因子について不必要にconditionedにすることによって、新たなconfounder効果を生んでしまったりするようなことが避けられるとします。

    背景にある思想は、因果関係はデータの外にあるというものです。異なった因果関係からも全く同じデータは生じうる、だから、データやそこにある因子の相関だけをいくらみていても、因果を排除した状況では議論ができないことがあるという主張です。データは、それがどのように取得されたか(ここに因果が関係する)を抜きには議論できないというわけです。

    "The Book of Why"を現在50%ぐらいまで読み進んでいます。そこまでの主張はこんなところと理解してます。counterfactualについて詳しくはこれからの説明のようです。

    ご紹介のプレゼンの「統計的因果推論の不可能性」については、私はまだ答えを持たないです。"The Book of Why”やPearl博士の私がここまでで理解している主張では、因果ダイヤグラムが前提として存在しています。それがどのように取得されるべきものかは議論されていません。おそらくですが、因果は統計データの外にあって、サイエンスの目的であるとしているような感じです。Pearl博士の統計的因果推論は、因果関係を推論するものでなく、因果の存在を前提にしない純粋なデータだけからの統計学は、肝心のことに答えられないことがある、だから、因果関係を統計的推論に取り込まなければならないという主張と今は理解しています。


  • Global Moderator

    雑談的補足です。

    • 「因果関係」というのは確かによく分からないものなので、人間の錯覚であるとして、統計データ処理から排除したくなる気持ちは分かります。

      • 私見ですが、物理学における「時間」の立ち位置と似たところがあると感じます。「時間」は定義が難しいです。素粒子レベルでみると、時間は存在しないようにも見えます。しかし、粒子の集団としての振る舞いをみると、熱力学の第2法則として、時間の矢が現れてきます。結果として、巨視的世界に生きる我々人間は、時間の存在をあたりまえのように受け止めています(都筑 卓司「マックスウェルの悪魔」などを読んで得た見解)。
    • Pearl博士が、因果関係に着目するのは、人工知能研究者としての考察が根本にあるようです。昨今の Deep Learning などの、いわゆるビッグデータ、大量のデータを元に、本質的にはフィッティングによって知能らしき振る舞いを得ようとするやり方からは人間のような知能は生まれないと主張したいのではと思っています。因果関係の理解が知能にとって重要であり、統計データそのものには因果関係は含まれていないと考えているようだからです。



  • @ソム さん
    私はRCT<ほとんどの場合不可能です>でない場合、統計学が因果を言及しうる範囲には矩があると考えています。もちろん矩は対象となるものによって変化すると考えています。煙草の害などは一方の極、社会的適性のフィルタリングなどはその反対の極にあるものと考えています。
    厄介なのは両極のどこにあるかの判断についての格率が存在し得ないことです。コンセンサスなら存在し得ますが、コンセンサスがどんなに危ない物かは歴史が証明済みだと思っています。
    そう言う訳で、頑固一徹!(^^)!。確信犯です(;'∀')


  • Global Moderator

    @riffraff さん

    コンセンサス(往々にして流派に過ぎなかったりします)が危ないというのはそのとおりだと思います。コンセンサスを越えて、合理的かつルールベースな工学に落とし込めるかというところ、すなわち、「矩」を客観的に扱う手法が、因果ダイヤグラムや do オペレーターという提案だというのが、私のPeral博士論の理解です。

    今まだよく分かっていないのは、林岳彦氏のプレゼン資料でもあったように(p.51)、前提となる因果ダイヤグラムが、どこから出てくるか?です。ここが最後まで分からないままか?誤魔化されているのか?、"The Book of Why"の後半の楽しみです(笑



  • @ソム さん 続き楽しみにしています。
    こちらはスマリヤン先生、マロリー先生(J.P.Mallory)、小島法師先生とあいかわらずカオスな状態で突き進んでおります。!(^^)!
    それに今週は、上高地へカラマツの落葉を見に行く予定も(^^♪


  • Global Moderator

    @riffraff さん

    上高地!写真撮ってきて下さい!

    私の場合は現在、Pearl博士、スマリヤン先生(笑)、白石文秀先生(バイオケミカルシステム理論)などです。次に勉強したいと思って気になっているのが、"The Book of Why"で知った "Turbo Code"(3G,4G 携帯電話で音声データのエラー修正コードとして用いられる手法)です。自分の中では全て繋がっている(予定)のですが、カオスには違いありません。それから基礎の線形代数の勉強はこれからも大事です。



  • @ソム さん
    写真は撮るつもりです。ただ致命的に才能が有りませんので(;'∀')



  • @riffraff 自己レス
    日帰りのハズがついふらふらと小屋泊まり。なぜか装備はもっています(^-^)
    写真は帰ってからアップします
    あちらも今日はお休みです。



パズルハウスへの接続が失われたと思われます。再接続されるまでしばらくお待ちください。