ばびぞうブログ

統計モデリング・機械学習・Python・R・Django・PostgreSQLに関してはなにもわかりません

BLUE DAYS

概要

どの本のどこに何の統計モデルの説明があるのか忘れてしまうのでindexとして整理。

みどり本（こちら）

3章

テーマ
ポアソン回帰
$P(y_i|\lambda_i)=\dfrac{\lambda_i^ {y_i} exp(-\lambda_i)}{y_i!}$
$\lambda_i=exp(\beta_1+\beta_2 x_i)$
推定方法
$\beta_1$ と $\beta_2$ を最尤推定

6章

テーマ
ロジスティック回帰
$log(\dfrac{q_i}{1-q_i})=\beta_1+\beta_2 x_i$
推定方法
$\beta_1$ と $\beta_2$ を最尤推定

7章

テーマ
6章のロジスティック回帰で固定効果とランダム効果（個体差）を表現 $log(\dfrac{q_i}{1-q_i})=\beta_1+\beta_2 x_i+r_i$
$r_i \sim N(0, s)$
推定方法
$\beta_1$ と $\beta_2$ と $s$ を最尤推定

9章

テーマ
3章のポアソン回帰をベイズモデル化
$P(y_i|\lambda_i)=\dfrac{\lambda_i^ {y_i} exp(-\lambda_i)}{y_i!}$
$\lambda_i=exp(\beta_1+\beta_2 x_i)$
推定方法
$\beta_1$ と $\beta_2$ をベイズ推定（事前分布：無情報事前分布）

10章

テーマ
7章のGLMMを階層モデル化
$log(\dfrac{q_i}{1-q_i})=\beta_1+\beta_2 x_i+r_i$
$r_i \sim N(0, s)$
推定方法
$\beta_1$ と $\beta_2$ と $s$ をベイズ推定
（ $\beta_1$ と $\beta_2$ の事前分布：無情報事前分布、 $s$ の事前分布：0~10000の連続一様分布）

アヒル本（こちら）

Chapter5 - 5.1 重回帰

テーマ
重回帰
$Y_i=b_1+b_2 A_i+b_3 Score_i+\epsilon_i$
$\epsilon_i \sim N(0, \sigma)$
推定方法
$b_1$ と $b_2$ と $b_3$ と $\sigma$ をベイズ推定（事前分布：無情報事前分布）

Chapter5 - 5.3 ロジスティック回帰

テーマ
ロジスティック回帰
$Y_i \sim Bernoulli(q_i)$
$q_i=inverselogit(b_1+b_2 A_i+b_3 Score_i+b_4 Weather_i)$

ちなみに、
ロジット関数は
$logit(p)=log(\dfrac{p}{1-p})$
ロジット関数の逆関数であるロジスティック関数（=シグモイド関数）は
$logistic(z)=\dfrac{1}{1+\exp(-z)}$

これを用いて式変換した「みどり本 6章」の式の方がスッキリしている気がするが、stanではlogistic関数はinv_logitメソッドとして用意されているため、「アヒル本」はstanでの表記形式に寄せてinverselogitの表記にしているっぽい。
推定方法
$b_1$ と $b_2$ と $b_3$ と $b_4$ をベイズ推定（事前分布：無情報事前分布）

Chapter5 - 5.4 ポアソン回帰

テーマ
ポアソン回帰
$M_i \sim Poisson(\lambda_i)$
$\lambda_i=\exp(b_1+b_2 A_i+b_3 Score_i)$
推定方法
$b_1$ と $b_2$ と $b_3$ をベイズ推定（事前分布：無情報事前分布）

Chapter5 - 8.1 階層モデルの導入

テーマ
階層ベイズモデル
$Y_i \sim N(a_k+b_k X_i, \sigma_Y)$
$a_k=a _ {全体平均}+a _ {会社差\ k}$
$b_k=b _ {全体平均}+b _ {会社差\ k}$
$a _ {会社差\ k} \sim N(0, \sigma_a)$
$b _ {会社差\ k} \sim N(0, \sigma_b)$

下記の表記も上記と等価
$Y_i \sim N(a_k+b_k X_i, \sigma_Y)$
$a_k \sim N(a _ {全体平均}, \sigma_a)$
$b_k \sim N(b _ {全体平均}, \sigma_b)$
推定方法
$a _ {全体平均}$ と $b _ {全体平均}$ と $a _ {会社差\ k}$ と $b _ {会社差\ k}$ と $\sigma_a$ と $\sigma_b$ をベイズ推定（事前分布：無情報事前分布）

Chapter5 - 8.2 複数の階層を持つ階層モデル

テーマ
複数の階層を持つ階層ベイズモデル
- 「 $a$ と $b$ の会社差でのばらつきは、全ての業界で共通」と仮定した場合
  $Y_i \sim N(a_k+b_k X_i, \sigma_Y)$
  $a_k \sim N(a _ {業界平均\ g}, \sigma_a)$
  $b_k \sim N(b _ {業界平均\ g}, \sigma_b)$
  $a _ {業界平均\ g} \sim N(a _ {全体平均}, \sigma _ {ag})$
  $b _ {業界平均\ g} \sim N(b _ {全体平均}, \sigma _ {bg})$
- 「 $a$ と $b$ の会社差でのばらつきは、業界によって異なる」と仮定した場合
  $Y_i \sim N(a_k+b_k X_i, \sigma _ {Yg})$
  $a_k \sim N(a _ {業界平均\ g}, \sigma _ {ag})$
  $b_k \sim N(b _ {業界平均\ g}, \sigma _ {bg})$
  $a _ {業界平均\ g} \sim N(a _ {全体平均}, \sigma _ {ag})$
  $b _ {業界平均\ g} \sim N(b _ {全体平均}, \sigma _ {bg})$
推定方法
Chapter5 - 8.1と同様（書くのが面倒になった & ここまできたら見ればわかる）

Chapter5 - 8.4 ロジスティック回帰の階層モデル

テーマ
ロジスティック回帰の階層モデル
$Y_i \sim Bernoulli(q_i)$
$q_i=inverselogit(x_i)$
$x_i=b_1+b_2 A_i+b_3 Score_i+b _ {学生差\ n}+b _ {科目差\ c}+b_4 Weather_i$
$b _ {学生差\ n} \sim N(0, \sigma _ {p})$
$b _ {科目差\ c} \sim N(0, \sigma _ {c})$
推定方法
Chapter5 - 8.1と同様（書くのが面倒になった & ここまできたら見ればわかる）

ref

余談だが、texの添字表記がうまくいかないことがあり、こちらに非常に助けられた。

タイトル回収