統計コンサルの議事メモ

統計や機械学習の話題を中心に、思うがままに

統計

統計数理研究所公開講座「統計の哲学を理解するために」参加記録

1/31に開催された統計数理研究所の公開講座「統計の哲学を理解するために」に参加してきましたのでそのメモを共有しておきます。全体的にはエリオット・ソーバーという尤度主義者から見た頻度主義・ベイズ主義に対する批判的観点の紹介という構成で、それぞ…

樋口先生退任記念シンポジウム参加記録

11/5に開催された元統計数理研究所の所長である樋口先生の退任記念シンポジウムに参加してきましたので、そのメモを共有しておきます。ご参考まで。やっぱり長らく研究をされてきた方のお話というのは面白いですね。 ご挨拶 統数研 椿広計 氏 統数研はモデリ…

応用統計学フロンティアセミナー「データサイエンスと応用統計学」参加記録

10/19に開催された応用統計学フロンティアセミナーに参加してきましたので、そのメモを共有しておきます。話を聴きながらのメモなので単語しか書けず意味がわかりにくいところもありますが、ご参考まで。なおセミナーの様子は以下のtogetterでまとめられてい…

スタイン推定量を確かめてみる

いきなりですが、最近購入したベイズモデリングの世界を読んでいて非常に面白い話題を発見しました。 ベイズモデリングの世界作者: 伊庭幸人出版社/メーカー: 岩波書店発売日: 2018/01/18メディア: 単行本(ソフトカバー)この商品を含むブログ (4件) を見る…

Bayesian GLMで過適合を避ける

長らく知人に貸していた「みんなのR」が手元に戻ってきたのでパラパラと見ていたら、見逃していた面白いトピックを見つけたので紹介します。内容としてはこちらの記事とほぼ同じで、基本的には書籍の該当部分を再現しているだけですが、{purrr}のmapを使った…

Bayesian t-testを書いてみたい

IBM SPSS Statisticsにベイズ推論が実装されるらしい。news.mynavi.jpこれ以外にも最近は身の回りでやけにBayesian t-testに関する話題を耳にすることが多いので、t-検定をベイズ化することのどこにニーズがあるのかを考えていたのだけれど、どうやらA/B tes…

Anscombeの例

二変数間の関連性の強さを評価する上で最も良く使われる指標は、間違いなくPearsonの積率相関係数、いわゆる相関だと思う。Excelでも関数により算出でき、関連の強さを-1〜1で評価できるというお手軽さが受け入れられやすいのだと思う。さて、この相関は直線…

帰無仮説は採択できない

統計的仮説検定は通常、以下のような手順に従って行われる: 帰無仮説を設定する 対立仮説を設定する 検定統計量を設定する 有意水準を設定する 実験やデータ解析によって検定統計量を求める 帰無仮説を真と仮定した時の検定統計量の得られる確率を求める 設…

母数の意味

母数という言葉は誤用が多々あるように思います。例えばデータの大きさの話をしている際に「このデータは母数が小さいから~」「十分な母数を確保して~」みたいな言い方をする人をよく見かけるのですが、統計学において「母数」とは「パラメータ」と訳し、…

決定係数についての諸注意

決定係数は線形回帰分析においてモデルの精度を表す指標の一つで、1に近いほど良いモデルであるとされます。またこのは相関係数の二乗で求めることがあります。 しかしこれらの説明は必ずしも正しいとは言えないため、注意が必要です。

データ分析にあたっての参考書籍

データ分析に興味を持ち始めた方から、参考となる書籍についての質問を受けることがあります。統計や機械学習、データ分析に関する本は世に溢れているので、どれを読めばよいか困りますよね。そんな時にいつもお薦めしている本が2冊あります。 ①統計学入門 …

統計モデルに思うこと

機械学習や人工知能が認知されるにつれ、従来のデータ分析者が使用していたモデルという言葉の意味が変わってきたように思います。今日は自分なりに、統計モデルの意味について考えてみます。

無作為抽出と無作為割り当て

こんにちは、ushi-goroshiです。 今日は(も)統計のお話。 有名なオンライン講座のcourseraでは統計学の講義もいくつかあります。 そのうちの一つ、Duke Universityの「Data Analysis and Statistical Inference」はRを使いながら統計の勉強ができる非常に…

SAS + R

ushi-goroshiです。 あけましておめでとうございます。 最近知ってとても衝撃だったのですが、統計解析ソフトとして有名なSASがなんと無料で使えます。 SAS University Edition 無償の統計ソフトウェア SAS University Edition | SAS インストールなどを解説…

21世紀の相関係数

こんにちは、ushi-goroshiです。 相関係数と言えばPearsonの積率相関係数(Excelの関数ではCorrel)が有名ですが、この値は2つの変数間の「直線的関係」しか見れないため、数値をそのまま信用すると痛い目にあったりします(非線形の関係を見逃してしまうの…

平均の影響を考慮した分散の比の検定

こんにちは、ushi-goroshiです。 最近、家のベランダからすぐの所にクモの巣ができたので、巣のメンテナンスをしているクモを日々微笑ましく見ています。 我が家のベランダに接近しない限り。。。 さてタイトルの件ですが、以前に友人から相談を受けた際の回…

最小二乗法と解の特性

こんばんは、ushi-goroshiです。この名前の由来はそのうちに。 今日は最小二乗法によって得られる解の特性について書いておきます。 先日、とあるWebページを見ていると、以下のような文章が目に入りました。 「残差分散が不均一であるときに最小二乗法を使…