ベイズ統計の入口の練習問題

考え方

事前の見込み（事前分布）をデータ（尤度）で更新して事後分布を求める、ベイズ統計の基本の流れが分かり、ベータ分布を使ったクリック率などの簡単な更新ができるようになります。データが少ない段階での A/B テストや、需要予測の更新に使います。

事前分布

データを見る前の、パラメータ（クリック率 $\theta$ など）についての見込みを表す分布。

尤度

パラメータが $\theta$ のとき、観測したデータが得られる確率。

事後分布

データを見たあとの見込み。事前分布 × 尤度 に比例する。

ベータ分布 $\mathrm{Beta}(\alpha, \beta)$

0〜1 の値（確率・割合）の分布。平均は $\dfrac{\alpha}{\alpha + \beta}$。

ベイズ統計では、知りたい値（クリック率 $\theta$）そのものを確率分布で表します。過去の経験から「だいたい 20% くらい」という見込みを事前分布にし、新しいデータを見るたびに分布を更新していきます。

更新のきまりはベイズの定理と同じで、事後分布は「事前分布 × 尤度」に比例します。データがよく出るような $\theta$ ほど、事後分布で重みが増えます。

事前分布がベータ分布 $\mathrm{Beta}(\alpha, \beta)$ で、データが二項分布（$n$ 回中 $k$ 回成功）なら、事後分布もベータ分布 $\mathrm{Beta}(\alpha + k,\ \beta + n - k)$ になります。成功の回数を $\alpha$ に、失敗の回数を $\beta$ に足すだけです（共役事前分布）。

事後平均 $\dfrac{\alpha + k}{\alpha + \beta + n}$ は、事前の見込み $\dfrac{\alpha}{\alpha + \beta}$ とデータの割合 $\dfrac{k}{n}$ の間の値になります。データが少ないうちは事前の見込みに引き寄せられ、データが増えるほどデータの割合に近づきます。

ポイント

$\text{事後分布} \propto \text{事前分布} \times \text{尤度}$

事前 $\mathrm{Beta}(\alpha, \beta)$、$n$ 回中 $k$ 回成功 → 事後 $\mathrm{Beta}(\alpha + k,\ \beta + n - k)$

$\mathrm{Beta}(\alpha, \beta)$ の平均 $= \dfrac{\alpha}{\alpha + \beta}$、事後平均 $= \dfrac{\alpha + k}{\alpha + \beta + n}$

解き方の手順

1. 事前分布の $\alpha$, $\beta$ と、試行回数 $n$、成功回数 $k$ を読み取る。
2. 失敗回数 $n - k$ を求める。
3. 事後分布 $\mathrm{Beta}(\alpha + k,\ \beta + n - k)$ のパラメータを計算する。
4. 事後平均 $\dfrac{\alpha'}{\alpha' + \beta'}$ を計算する（約分する。小数でもよい）。