統計モデリング8章 9章メモ

統計モデリング8章 9章メモ

下記の書籍を参考にメモしていきます。
データ解析のための統計モデリング入門――一般化線形モデル・階層ベイズモデル・MCMC (確率と情報の科学)

 

ベイズ統計学

一般的な統計学では、パラメータを確率分布として扱いません。
一方、ベイズ統計学では、パラメータを確率分布として扱うことができます。
一般的な式を押さえておきます。

【ベイズ統計学の一般的な式】
$$ 事後分布 = \frac{尤度 × 事前分布}{データが得られる確率}\propto尤度 × 事前分布 $$

 

マルコフ連鎖モンテカルロ(MCMC)

統計モデルのパラメータを得ることができる手法の一つです。

MCMCのイメージは下記記事の説明が非常にわかりやすかったです。

適当に乱数を発生させた上で、その乱数に従って何かしらの操作を行って、その結果生まれたサンプルを評価することで、解析的には求まらないような何かの数値を求める、というのがモンテカルロ法の大ざっぱな説明です。

下記記事より引用

Stanで統計モデリングを学ぶ(2): そもそもMCMCって何だったっけ?

MCMCサンプルは、定常分布からのランダムサンプルです。
ということは、qの95%区間とかがわかったりします。
そうすると、推定されたパラメータの分布と現象の対応関係を見たり、統計モデルによっていろいろ予測ができてしまいます。

定常分布は何を表すのか?

定常分布は、事後分布を表しています。

 

GLMをベイズモデル化

9章では、GLMのベイズモデル化を中心に説明されています。
この章でやりたいこととしては、事後分布を求めたいです。

本書で使用されている数式は下記です。
$$ p(\beta_{1},\beta_{2}|Y)\propto p(Y|\beta_{1},\beta_{2})p(\beta_{1})p(\beta_{2}) $$

事後分布 = 尤度 × 事前分布で表されています。

このとき、β1とβ2の事前分布をどうやって推定するのか?という話になります。
そこで出てくるのが、無情報事前分布になります。

無情報事前分布とは、[-∞, ∞]の範囲で、「好きな値をとった」事前分布になります。

 

参考にした記事

第9回「データ解析のための統計モデリング入門」読書会を開催しました
MCMC と階層ベイズモデル データ解析のための統計モデリング入門